Mar, 2024

ProgGen: 使用自反大型语言模型逐步生成命名实体识别数据集

PDF
TL;DR该研究论文探讨了一种创新、成本效益的策略，利用具有适度命名实体识别能力的大型语言模型（LLMs）生成优质的命名实体识别数据集，通过引导 LLMs 自我反思特定领域生成与领域相关的属性，并围绕这些实体构建上下文数据，从而绕过 LLMs 在复杂结构上的挑战。实验证明，相对于传统的数据生成方法，该方法在通用领域和利基领域都取得了显著的性能提升，并具有更好的成本效益。
large language modelsnamed entity recognitiondomain-relevant attributesattribute-rich training datacost-effective data generation
发现论文，激发创造
  • 利用大型语言模型进行零样本命名实体识别的自我提升

    通过自我改进策略研究了零样本实体识别任务中大规模语言模型的应用，并提出了利用无标注语料库刺激模型自学能力的自我改进框架，通过全面实验分析发现，该自我改进框架能够进一步推动零样本实体识别任务的发展，并取得了显著的性能提升。

    Nov, 2023

  • NuNER：通过 LNN 标注数据进行实体识别编码器预训练

    利用大型语言模型，本研究表明如何创建 NuNER，这是一种专注于命名实体识别（NER）任务的紧凑语言表示模型，可以进行低数据需求的微调，该模型在 few-shot 情景下胜过了类似大小的基础模型，并与更大的语言模型竞争。研究发现预训练数据集的大小和实体类型多样性是取得良好性能的关键。我们将 NuNER 视为最近由语言模型解锁的任务特定基础模型之一。

    Feb, 2024

  • 利用 LLM 增加 NER 数据集：走向自动化和精确注释

    在自然语言处理（NLP）领域，命名实体识别（NER）被认为是一项关键技术，广泛应用于各种应用。本研究引入了一种新颖的混合标注方法，将人力与大型语言模型（LLMs）的能力相结合，旨在提高 NER 模型的性能，并以经济的方式解决传统标注方法存在的噪音和类别不平衡问题。通过多个数据集的分析，该方法在受限预算条件下始终显示出比传统标注方法更优越的性能，揭示了利用 LLMs 提高数据集质量的潜力，引入了一种减轻类别不平衡问题的新技术，并证明了以经济方式实现高性能 NER 的可行性。

    Mar, 2024

  • 少样本命名实体识别：综合研究

    本文提出了一种有效地建立识别命名实体（NER）系统的方法，基于最近的基于转换器的自我监督预训练语言模型（PLMs），并探讨了三种正交的方案来改进针对少样例情况的模型泛化能力，通过大量实验结果表明，我们的方法在少数样例学习环境中显著改善或优于基于域标记微调的 PLM 线性分类器等基线方法，同时在无训练和少样例学习环境下建立了最新的业界记录。

    Dec, 2020

  • GPT-NER：基于大型语言模型的命名实体识别

    本文介绍了一种基于 GPT 模型的 NER 算法 ——GPT-NER，它通过将序列标注任务转化为生成任务来弥补 LLMs 在 NER 任务上的缺陷，并提出自我验证策略以解决 LLMs 易出现的幻觉问题。实验结果表明，该算法表现与有监督算法相当，在低资源学习中表现显着优于有监督模型，具有实现限制样本 NER 应用的能力。

    Apr, 2023

  • NERetrieve: 下一代命名实体识别与检索数据集

    通过大规模语言模型，命名实体识别可以达到更精细化的实体类型识别、零样本识别和语句检索等目标，但这些目标仍然需要进一步研究和探索。

    Oct, 2023

  • LTNER：基于上下文实体标记的大型语言模型命名实体识别

    LLMs 在自然语言处理中的应用已成为近两年的热门趋势，然而，对于某些 NLP 任务，如 NER，在与监督学习方法相比较时，LLMs 的性能仍然不足以胜任。我们的研究开发了一种名为 LTNER 的 NER 处理框架，该框架融入了一种革命性的上下文化实体标记生成方法，通过利用成本效益高的 GPT-3.5 以及无需额外训练的上下文学习，显著提高了 LLMs 在处理 NER 任务时的准确性。在 CoNLL03 数据集上的 F1 得分从初始的 85.9% 增加到 91.9%，接近了监督微调的性能，这一结果增进了对 LLMs 潜力的深入认识。

    Apr, 2024

  • 运用外部知识激发大型语言模型在生物医学命名实体识别中的应用

    通过将大型语言模型（LLMs）应用于生物医学命名实体识别（NER）任务，将 NER 任务分解为实体跨度提取和实体类型确定两个步骤，同时注入实体知识以解决 LLM 在预测实体类别时缺乏领域知识的问题，实验证明了我们的两步 BioNER 方法相对于之前的少样本 LLM 基线在性能上有显著提高，而引入外部知识则显著增强了实体类别确定性能。

    Sep, 2023

  • llmNER：利用大型语言模型的（零 | 少）样本命名实体识别

    llmNER 是一个用于实现 LLMs 的零射击和少射击 NER 的 Python 库，通过提供易于使用的接口，llmNER 可以组合提示、查询模型，并解析 LLM 返回的完成结果。该库还通过提供简单的接口来测试多个变量，让用户可以高效地执行提示工程。我们在两个 NER 任务上验证了我们的软件，以展示该库的灵活性。llmNER 旨在推动上下文​​学习研究的界限，消除提示和解析步骤的障碍。

    Jun, 2024

  • 跨语言命名实体识别的增强迭代知识蒸馏

    本文描述了微软在交叉语种命名实体识别中的新实践方法，使用源语种的标注数据和目标语种的无标注数据，采用半监督学习和强化学习的方法来提取弱监督信号并实现了新的最先进性能优于现有的模型。

    Jun, 2021