本文主要研究了最新的自然语言处理技术中，神经网络和语言模型在命名实体识别和关系抽取方面的应用以及它们在训练过程中面临的一些挑战。我们发现，预训练的语言模型对发现未曾见过的命名实体表现良好，但对于未曾见过的关系则有待加强，因此模型的理解能力仍存在提升空间。

Jun, 2022

本文通过目标蒸馏训练以培养能在广泛应用领域，如开放信息抽取中表现出色的学生模型，以命名实体识别为案例研究，展示了如何将 ChatGPT 蒸馏为更小的 UniversalNER 模型，通过在包括生物医学、编程、社交媒体、法律和金融等 9 个多样领域的 43 个数据集上评估，无需直接监督训练，UniversalNER 在成千上万个实体类型上取得了显著的 NER 准确性，平均 F1 值比 Alpaca 和 Vicuna 等通用指导调教模型高出 30 个百分点，仅使用极少参数，UniversalNER 不仅具备了 ChatGPT 识别任意实体类型的能力，还比平均 NER 准确性高出 7-9 个百分点，甚至在超越 InstructUIE 等最新多任务指导调教系统（使用监督 NER 样例）方面表现出色，同时进行了全面的消融研究以评估我们蒸馏方法中各组件的影响，以便促进未来针对目标蒸馏的研究。

Aug, 2023

本文介绍了一种基于 GPT 模型的 NER 算法 ——GPT-NER，它通过将序列标注任务转化为生成任务来弥补 LLMs 在 NER 任务上的缺陷，并提出自我验证策略以解决 LLMs 易出现的幻觉问题。实验结果表明，该算法表现与有监督算法相当，在低资源学习中表现显着优于有监督模型，具有实现限制样本 NER 应用的能力。

Apr, 2023

该研究将大型语言模型（LLMs）如 GPT-4 与传统自然语言处理（NLP）任务相结合，利用思维链（CoT）提示技术从 GPT-4 中提取知识，并应用于改进较小模型 BERT 在命名实体识别（NER）任务中的效率和效果。通过采用两阶段训练过程，该方法在预训练阶段使用 GPT-4 标注数据，并结合蒸馏和原始人标注数据来完善模型。结果表明，我们的混合训练策略明显优于仅使用人工标注的模型，达到了更高的 F1 得分，并展示了在资源有限或封闭网络环境下的成本效益解决方案。研究还讨论了遇到的挑战，如 LLM 输出的可变性和偏向幻觉，提出了改进提示设计和注释选择的未来工作方向。我们的发现显示出 LLM 洞察力与传统 NLP 技术之间的有希望的协同作用，为更易于接近和强大的 NLP 应用铺平了道路。

Feb, 2024

本文提出了一种基于神经元的端到端模型来联合提取实体和它们的关系，该模型不依赖于外部自然语言处理工具，而是集成了大量的预训练语言模型， 在三个领域的五个数据集上，我们的模型可以与最先进的性能相提并论，有时甚至具有更高的性能。

Dec, 2019

通过构建一个通用的、包含 400 多种实体类型的数据集 B2NERD，并使用减少冗余的数据修剪策略，在开放领域命名实体识别方面，提高了大型语言模型的泛化性能，优于 GPT-4 和以往的方法。

Jun, 2024

通过大规模语言模型，命名实体识别可以达到更精细化的实体类型识别、零样本识别和语句检索等目标，但这些目标仍然需要进一步研究和探索。

Oct, 2023

本文描述了微软在交叉语种命名实体识别中的新实践方法，使用源语种的标注数据和目标语种的无标注数据，采用半监督学习和强化学习的方法来提取弱监督信号并实现了新的最先进性能优于现有的模型。

Jun, 2021

该研究论文探讨了一种创新、成本效益的策略，利用具有适度命名实体识别能力的大型语言模型（LLMs）生成优质的命名实体识别数据集，通过引导 LLMs 自我反思特定领域生成与领域相关的属性，并围绕这些实体构建上下文数据，从而绕过 LLMs 在复杂结构上的挑战。实验证明，相对于传统的数据生成方法，该方法在通用领域和利基领域都取得了显著的性能提升，并具有更好的成本效益。

Mar, 2024

llmNER 是一个用于实现 LLMs 的零射击和少射击 NER 的 Python 库，通过提供易于使用的接口，llmNER 可以组合提示、查询模型，并解析 LLM 返回的完成结果。该库还通过提供简单的接口来测试多个变量，让用户可以高效地执行提示工程。我们在两个 NER 任务上验证了我们的软件，以展示该库的灵活性。llmNER 旨在推动上下文​​学习研究的界限，消除提示和解析步骤的障碍。

Jun, 2024