运用外部知识激发大型语言模型在生物医学命名实体识别中的应用
该研究探讨了大型语言模型在医学领域中的应用,通过策略性地选择和设计提示语,增强模型在命名实体识别任务中的性能,并结合外部资源通过提示策略填补医学命名实体识别领域中的专业需求与通用语言模型之间的差距,最终提出的方法能够提高大型语言模型在医学命名实体识别任务中的 F1 分数。
Apr, 2024
利用开源的大型语言模型 LLaMA2 作为骨干模型,并设计特定指令来区分不同类型的实体和数据集,通过将骨干模型理解指令与序列标注技术相结合,使用多个数据集来训练一个能够提取各种类型实体的模型 VANER,集成外部实体知识库和使用指令调整,通过参数的小分区训练的 VANER 明显优于之前基于大型语言模型的模型,并且作为基于大型语言模型的模型,首次超过传统的 BioNER 系统大多数最先进的模型,实现了三个数据集中最高的 F1 分数。
Apr, 2024
通过全面的实证评估,我们表明在生物医学文本中,受监督的微调方法仍然相关且比通用性的大型语言模型更有效,如 PubMedBERT 可以仅凭 5 个受监督示例就能在命名实体识别任务上超过 ChatGPT。
Apr, 2024
本研究探讨了专有和本地大型语言模型在基于标记的临床实体识别中的有效性,挖掘了这些模型在零样本提示、少样本提示、检索增强生成以及指令微调等实验中面临的困难,并提出了在医疗保健领域中应用大型语言模型的可能改进方法。
Jun, 2024
提出 KeBioLM 这一生物医学语言 pretrained language model,该模型明确利用了来自 UMLS UMLS knowledge bases 知识库的知识,取得了名词实体识别和关系提取的不错效果。
Apr, 2021
本文提出了一个多任务学习框架,可以用于对生物医学命名实体进行识别并提高性能。该模型在 15 个基准生物医学命名实体识别数据集上的实验表明,它比现有的命名实体识别系统和基线序列标注模型都要好,此外,性能提升大部分来源于在不同的标注数据之间共享生物医学实体相关的字符和单词级别的信息。
Jan, 2018
本文提出了一种集成多种模型的混合方法,以解决生物医学实体识别中的局限性,并在 i2b2/2010 数据集上评估,得到了 90.11 的 F1 分数。
Dec, 2023
LLMs 在自然语言处理中的应用已成为近两年的热门趋势,然而,对于某些 NLP 任务,如 NER,在与监督学习方法相比较时,LLMs 的性能仍然不足以胜任。我们的研究开发了一种名为 LTNER 的 NER 处理框架,该框架融入了一种革命性的上下文化实体标记生成方法,通过利用成本效益高的 GPT-3.5 以及无需额外训练的上下文学习,显著提高了 LLMs 在处理 NER 任务时的准确性。在 CoNLL03 数据集上的 F1 得分从初始的 85.9% 增加到 91.9%,接近了监督微调的性能,这一结果增进了对 LLMs 潜力的深入认识。
Apr, 2024
llmNER 是一个用于实现 LLMs 的零射击和少射击 NER 的 Python 库,通过提供易于使用的接口,llmNER 可以组合提示、查询模型,并解析 LLM 返回的完成结果。该库还通过提供简单的接口来测试多个变量,让用户可以高效地执行提示工程。我们在两个 NER 任务上验证了我们的软件,以展示该库的灵活性。llmNER 旨在推动上下文学习研究的界限,消除提示和解析步骤的障碍。
Jun, 2024
本文旨在比较小型预训练模型和大型预训练模型在医疗 Few-shot NER 任务中的性能,并探索一种有效的实体识别器,称为检索和思考(RT)框架,该框架在 16 个 NER 模型上进行的实验表明,LLMs 在 Few-shot 医疗 NER 任务中的性能优于 SLMs,但其中仍存在一些挑战。
Jul, 2023