VANER：利用大型语言模型进行多功能和自适应的生物医学实体识别

Apr, 2024

VANER：利用大型语言模型进行多功能和自适应的生物医学实体识别

VANER: Leveraging Large Language Model for Versatile and Adaptive Biomedical Named Entity Recognition

Junyi Biana, Weiqi Zhai, Xiaodi Huang, Jiaxuan Zheng, Shanfeng Zhu

TL;DR利用开源的大型语言模型 LLaMA2 作为骨干模型，并设计特定指令来区分不同类型的实体和数据集，通过将骨干模型理解指令与序列标注技术相结合，使用多个数据集来训练一个能够提取各种类型实体的模型 VANER，集成外部实体知识库和使用指令调整，通过参数的小分区训练的 VANER 明显优于之前基于大型语言模型的模型，并且作为基于大型语言模型的模型，首次超过传统的 BioNER 系统大多数最先进的模型，实现了三个数据集中最高的 F1 分数。

Abstract

Prevalent solution for bioner involves using representation learning techniques coupled with sequence labeling. However, such methods are inherently task-specific, demonstrate poor generalizability, and often req

bioner representation learning large language models entity extraction vaner

发现论文，激发创造

运用外部知识激发大型语言模型在生物医学命名实体识别中的应用

通过将大型语言模型（LLMs）应用于生物医学命名实体识别（NER）任务，将 NER 任务分解为实体跨度提取和实体类型确定两个步骤，同时注入实体知识以解决 LLM 在预测实体类别时缺乏领域知识的问题，实验证明了我们的两步 BioNER 方法相对于之前的少样本 LLM 基线在性能上有显著提高，而引入外部知识则显著增强了实体类别确定性能。

Sep, 2023

NuNER：通过 LNN 标注数据进行实体识别编码器预训练

利用大型语言模型，本研究表明如何创建 NuNER，这是一种专注于命名实体识别（NER）任务的紧凑语言表示模型，可以进行低数据需求的微调，该模型在 few-shot 情景下胜过了类似大小的基础模型，并与更大的语言模型竞争。研究发现预训练数据集的大小和实体类型多样性是取得良好性能的关键。我们将 NuNER 视为最近由语言模型解锁的任务特定基础模型之一。

Feb, 2024

生物医学中的 LLMs：临床命名实体识别研究

该研究探讨了大型语言模型在医学领域中的应用，通过策略性地选择和设计提示语，增强模型在命名实体识别任务中的性能，并结合外部资源通过提示策略填补医学命名实体识别领域中的专业需求与通用语言模型之间的差距，最终提出的方法能够提高大型语言模型在医学命名实体识别任务中的 F1 分数。

Apr, 2024

从生物医学文献中进行意图识别和实体提取

通过全面的实证评估，我们表明在生物医学文本中，受监督的微调方法仍然相关且比通用性的大型语言模型更有效，如 PubMedBERT 可以仅凭 5 个受监督示例就能在命名实体识别任务上超过 ChatGPT。

Apr, 2024

通过多粒度嵌入和增强标注进行多级生物医学命名实体识别

本文提出了一种集成多种模型的混合方法，以解决生物医学实体识别中的局限性，并在 i2b2/2010 数据集上评估，得到了 90.11 的 F1 分数。

Dec, 2023

深度多任务学习的交叉类型生物医学命名实体识别

本文提出了一个多任务学习框架，可以用于对生物医学命名实体进行识别并提高性能。该模型在 15 个基准生物医学命名实体识别数据集上的实验表明，它比现有的命名实体识别系统和基线序列标注模型都要好，此外，性能提升大部分来源于在不同的标注数据之间共享生物医学实体相关的字符和单词级别的信息。

Jan, 2018

大型语言模型在令牌级临床命名实体识别中的困难

本研究探讨了专有和本地大型语言模型在基于标记的临床实体识别中的有效性，挖掘了这些模型在零样本提示、少样本提示、检索增强生成以及指令微调等实验中面临的困难，并提出了在医疗保健领域中应用大型语言模型的可能改进方法。

Jun, 2024

LTNER：基于上下文实体标记的大型语言模型命名实体识别

LLMs 在自然语言处理中的应用已成为近两年的热门趋势，然而，对于某些 NLP 任务，如 NER，在与监督学习方法相比较时，LLMs 的性能仍然不足以胜任。我们的研究开发了一种名为 LTNER 的 NER 处理框架，该框架融入了一种革命性的上下文化实体标记生成方法，通过利用成本效益高的 GPT-3.5 以及无需额外训练的上下文学习，显著提高了 LLMs 在处理 NER 任务时的准确性。在 CoNLL03 数据集上的 F1 得分从初始的 85.9% 增加到 91.9%，接近了监督微调的性能，这一结果增进了对 LLMs 潜力的深入认识。

Apr, 2024

大型语言模型不是你所需的全部

本文描述了解决 SemEval 2023 Task 2：MultiCoNER II（多语言复杂命名实体识别）问题所构建的体系结构和系统。我们评估了两种方法：传统的条件随机场模型和经过自定义头部微调的大型语言模型（LLM），并比较了这两种方法。我们探索的新想法有：1）衰减辅助损失（带剩余项）- 在模型上训练粗粒度 NER 的辅助任务并将其包括在损失函数的一部分中；2）三元标记混合 - 探索在最终 NER 层中预测之前混合相邻标记的嵌入方式；3）任务最优头部 - 探索各种用于 LLM 最终层的自定义头部和学习率。我们还尝试了多个 LLM，包括 GPT-3，并在最终模型中使用了多种 dropout 和其他超参数设置，该模型在开发数据上达到了 0.85/0.84 的微观和宏观 F1 值，并在测试数据上达到了 0.67/0.61。我们证明，虽然预训练的 LLM 本身相对传统模型带来了很大的改进，但通过上述额外特征 / 损失 / 模型工程技术的增强，我们还可以显著提高宏观 F1 分数。

Jan, 2024

利用 LLM 增加 NER 数据集：走向自动化和精确注释

在自然语言处理（NLP）领域，命名实体识别（NER）被认为是一项关键技术，广泛应用于各种应用。本研究引入了一种新颖的混合标注方法，将人力与大型语言模型（LLMs）的能力相结合，旨在提高 NER 模型的性能，并以经济的方式解决传统标注方法存在的噪音和类别不平衡问题。通过多个数据集的分析，该方法在受限预算条件下始终显示出比传统标注方法更优越的性能，揭示了利用 LLMs 提高数据集质量的潜力，引入了一种减轻类别不平衡问题的新技术，并证明了以经济方式实现高性能 NER 的可行性。

Mar, 2024