大型语言模型在令牌级临床命名实体识别中的困难
该研究探讨了大型语言模型在医学领域中的应用,通过策略性地选择和设计提示语,增强模型在命名实体识别任务中的性能,并结合外部资源通过提示策略填补医学命名实体识别领域中的专业需求与通用语言模型之间的差距,最终提出的方法能够提高大型语言模型在医学命名实体识别任务中的 F1 分数。
Apr, 2024
本文旨在比较小型预训练模型和大型预训练模型在医疗 Few-shot NER 任务中的性能,并探索一种有效的实体识别器,称为检索和思考(RT)框架,该框架在 16 个 NER 模型上进行的实验表明,LLMs 在 Few-shot 医疗 NER 任务中的性能优于 SLMs,但其中仍存在一些挑战。
Jul, 2023
llmNER 是一个用于实现 LLMs 的零射击和少射击 NER 的 Python 库,通过提供易于使用的接口,llmNER 可以组合提示、查询模型,并解析 LLM 返回的完成结果。该库还通过提供简单的接口来测试多个变量,让用户可以高效地执行提示工程。我们在两个 NER 任务上验证了我们的软件,以展示该库的灵活性。llmNER 旨在推动上下文学习研究的界限,消除提示和解析步骤的障碍。
Jun, 2024
LLMs 在自然语言处理中的应用已成为近两年的热门趋势,然而,对于某些 NLP 任务,如 NER,在与监督学习方法相比较时,LLMs 的性能仍然不足以胜任。我们的研究开发了一种名为 LTNER 的 NER 处理框架,该框架融入了一种革命性的上下文化实体标记生成方法,通过利用成本效益高的 GPT-3.5 以及无需额外训练的上下文学习,显著提高了 LLMs 在处理 NER 任务时的准确性。在 CoNLL03 数据集上的 F1 得分从初始的 85.9% 增加到 91.9%,接近了监督微调的性能,这一结果增进了对 LLMs 潜力的深入认识。
Apr, 2024
通过将大型语言模型(LLMs)应用于生物医学命名实体识别(NER)任务,将 NER 任务分解为实体跨度提取和实体类型确定两个步骤,同时注入实体知识以解决 LLM 在预测实体类别时缺乏领域知识的问题,实验证明了我们的两步 BioNER 方法相对于之前的少样本 LLM 基线在性能上有显著提高,而引入外部知识则显著增强了实体类别确定性能。
Sep, 2023
本研究通过对临床语言理解任务的全面评估和引入一种新的提示策略 —— 自问自答提示(SQP),来提高大型语言模型 (GPT-3.5、GPT-4 和 Bard) 在医疗相关任务中的性能,同时还提供了有关挑战性关系抽取任务误差分布和潜在改进方法的有价值洞察。此项研究为之后的研究和开发医疗应用奠定了基础。
Apr, 2023
本文介绍了一种基于 GPT 模型的 NER 算法 ——GPT-NER,它通过将序列标注任务转化为生成任务来弥补 LLMs 在 NER 任务上的缺陷,并提出自我验证策略以解决 LLMs 易出现的幻觉问题。实验结果表明,该算法表现与有监督算法相当,在低资源学习中表现显着优于有监督模型,具有实现限制样本 NER 应用的能力。
Apr, 2023
通过将小型微调模型与大型语言模型(LinkNER)结合、以及一种基于不确定性的链接策略(RDC),以提高 NER 任务性能并在鲁棒性测试中明显超过 SOTA 模型,我们量化分析了关键组件如不确定性估计方法、大型语言模型和上下文学习对各种 NER 任务的影响,提供了具体的与网络相关的建议。
Feb, 2024
大型语言模型在医疗保健领域的部署引发了热情和忧虑,本综述论文探讨了针对医疗保健应用设计的现有大型语言模型的功能,从传统的预训练语言模型到目前的医疗保健领域的大型语言模型发展轨迹,特别关注临床语言理解任务的潜力以及性能评估、挑战和限制。
Dec, 2023
利用大型语言模型,本研究表明如何创建 NuNER,这是一种专注于命名实体识别(NER)任务的紧凑语言表示模型,可以进行低数据需求的微调,该模型在 few-shot 情景下胜过了类似大小的基础模型,并与更大的语言模型竞争。研究发现预训练数据集的大小和实体类型多样性是取得良好性能的关键。我们将 NuNER 视为最近由语言模型解锁的任务特定基础模型之一。
Feb, 2024