ICMLJun, 2022

NERDA-Con: 用于不间断学习的 NER 模型扩展 —— 集成不同任务和更新分布偏移

PDF
TL;DR该研究提出了 NERDA-Con，一种基于 Elastic Weight Consolidation 思想的 NERLLM 精调 fine-tuning pipeline。该方法可以在不重置 Large Language Models 的情况下对新数据进行处理，对于信息提取等领域的 Named Entity Recognition 有重要的应用价值。
named entity recognitionlarge language modelselastic weight consolidationfine-tuning pipelinecontinual learning
发现论文，激发创造
  • 跨语言命名实体识别的增强迭代知识蒸馏

    本文描述了微软在交叉语种命名实体识别中的新实践方法，使用源语种的标注数据和目标语种的无标注数据，采用半监督学习和强化学习的方法来提取弱监督信号并实现了新的最先进性能优于现有的模型。

    Jun, 2021

  • LinkNER: 使用不确定性将本地命名实体识别模型与大型语言模型连接

    通过将小型微调模型与大型语言模型（LinkNER）结合、以及一种基于不确定性的链接策略（RDC），以提高 NER 任务性能并在鲁棒性测试中明显超过 SOTA 模型，我们量化分析了关键组件如不确定性估计方法、大型语言模型和上下文学习对各种 NER 任务的影响，提供了具体的与网络相关的建议。

    Feb, 2024

  • 利用 LLM 增加 NER 数据集：走向自动化和精确注释

    在自然语言处理（NLP）领域，命名实体识别（NER）被认为是一项关键技术，广泛应用于各种应用。本研究引入了一种新颖的混合标注方法，将人力与大型语言模型（LLMs）的能力相结合，旨在提高 NER 模型的性能，并以经济的方式解决传统标注方法存在的噪音和类别不平衡问题。通过多个数据集的分析，该方法在受限预算条件下始终显示出比传统标注方法更优越的性能，揭示了利用 LLMs 提高数据集质量的潜力，引入了一种减轻类别不平衡问题的新技术，并证明了以经济方式实现高性能 NER 的可行性。

    Mar, 2024

  • IXA/Cogcomp 参加 SemEval-2023 第 2 项任务：基于知识库的上下文增强的多语言命名实体识别

    本文介绍了一种新的命名实体识别级联方法，它由三个步骤组成：首先在输入句子中识别候选实体，然后将每个候选实体链接到现有的知识库中，最后预测每个实体候选的细粒度类别。实验证明，外部知识库在准确分类细粒度和新兴实体方面具有重要意义，并且我们的系统在 MultiCoNER2 共享任务中表现出强大的性能，即使在使用高资源语言的知识库情况下，也能在低资源语言环境中获得良好的表现。

    Apr, 2023

  • NuNER：通过 LNN 标注数据进行实体识别编码器预训练

    利用大型语言模型，本研究表明如何创建 NuNER，这是一种专注于命名实体识别（NER）任务的紧凑语言表示模型，可以进行低数据需求的微调，该模型在 few-shot 情景下胜过了类似大小的基础模型，并与更大的语言模型竞争。研究发现预训练数据集的大小和实体类型多样性是取得良好性能的关键。我们将 NuNER 视为最近由语言模型解锁的任务特定基础模型之一。

    Feb, 2024

  • 跨数据集和语言学习开放式命名实体识别的通用实体分类

    通过构建一个通用的、包含 400 多种实体类型的数据集 B2NERD，并使用减少冗余的数据修剪策略，在开放领域命名实体识别方面，提高了大型语言模型的泛化性能，优于 GPT-4 和以往的方法。

    Jun, 2024

  • 无困扰遗忘的连续命名实体识别

    在连续命名实体识别（CNER）领域中，我们引入了一种精确平衡旧实体与新实体之间知识保留的池化特征蒸馏损失方法，以更有效地缓解灾难性遗忘问题，并利用基于置信度的伪标记方法解决非实体类型的语义转移问题。在此基础上，我们还提出了一种自适应重新加权类型平衡学习策略来处理类型分布不均衡问题。通过对十个 CNER 设置及三个不同数据集进行全面实验，结果显示我们的方法在 Micro F1 和 Macro F1 得分上相较于当前最先进的方法平均提高了 6.3% 和 8.0%。

    Oct, 2023

  • ConNER: 跨语言命名实体识别的一致性训练

    通过提出 ConNER 一种新型一致性训练方法，习得一个对扰动和数据具有鲁棒性的模型，该方法通过对标注和未标注数据的翻译和丢失操作的表现进行一致性训练，提高了跨语言自适应性能，并在各种基线方法上取得了一致的改进效果。

    Nov, 2022

  • 低资源跨语言命名实体识别的双重对比框架

    本篇论文提出了一种名为 ConCNER 的新颖双重对比框架，针对有限来源语言标注数据的跨语言命名实体识别问题，通过翻译对数据进行增广，并利用对比学习和知识蒸馏的方法，提高模型的性能。

    Apr, 2022

  • E-NER: 基于证据的深度学习在可信命名实体识别中的应用

    介绍了 Evidential deep learning 在 named entity recognition (NER) 中实现 predictive uncertainty 的困难之处，并提出了一种可信 named entity recognition (E-NER) 框架，引入了两个基于不确定性的错误函数以及一系列基于不确定性的训练策略。实验证明 E-NER 能够应用于多种 NER 模式，并获得准确的不确定性估计。与最先进的基线相比，所提出的方法在 OOV/OOD 检测性能和 OOV 实体的泛化能力方面均有所提高。

    May, 2023