Sep, 2019

CrossWeigh：从不完美标注中训练命名实体识别器

PDF
TL;DR本研究深入探讨了一种广泛采用的命名实体识别基准数据集 CoNLL03 NER，并成功地发现和纠正了 5.38％测试句子中的标签错误。研究人员还提出了一个名为 CrossWeigh 的简单但有效的框架来处理 NER 模型训练过程中的标签错误，实验证明其显著提高了各种 NER 模型在三个数据集上的性能。
named entity recognitionbenchmark datasetlabel mistakescrossweighner model training
发现论文，激发创造
  • 使用部分标注的训练数据进行命名实体识别

    研究了使用部分标记数据进行命名实体识别的问题，用迭代算法通过识别假负标签减小其权值，训练带有偏重的 NER 模型，取得 8 种语言的实验结果，并在孟加拉语 NER 语料库中比现有最优算法提高 5 个百分点的 F1 分数。

    Sep, 2019

  • 通过有效的注释和表示投影进行弱监督的跨语言命名实体识别

    本文提出两种弱监督的跨语言实体标识方法，分别基于注释投影和词嵌入，无需使用目标语言的人工注释数据。同时，我们设计了两种协同解码方案，将两个基于投影的方法的输出相结合，评估表明这种组合性的方法优于其他三种弱监督方法。

    Jul, 2017

  • CoNLL#: CoNLL-03 英文细粒度错误分析和校正测试集

    现代命名实体识别系统在更大更强大的神经模型时代中稳步提高性能。本文通过对最高性能 NER 模型的测试输出进行深入分析，并在测试集上引入新的文档级注释，对其性能进行精细评估。我们通过对错误进行分类，超越 F1 分数，解释 NER 的真实技术水平并指导未来的研究。我们回顾了之前纠正测试集各种缺陷的尝试，并引入了一个新的纠正版本 CoNLL#，解决了其系统性和最常见的错误，从而允许进行低噪声、可解释的错误分析。

    May, 2024

  • CleanCoNLL：一个几乎无噪声的命名实体识别数据集

    通过综合重新标定工作和自动一致性检查，修正了英文 CoNLL-03 中所有标签的 7.0%。我们的资源通过实验证实了最先进的方法在我们的数据上达到了显著更高的 F1 得分（97.1%），并且通过注释噪声的误差分析发现高资源粗粒度 NER 的理论上限尚未达到。

    Oct, 2023

  • ConNER: 跨语言命名实体识别的一致性训练

    通过提出 ConNER 一种新型一致性训练方法，习得一个对扰动和数据具有鲁棒性的模型，该方法通过对标注和未标注数据的翻译和丢失操作的表现进行一致性训练，提高了跨语言自适应性能，并在各种基线方法上取得了一致的改进效果。

    Nov, 2022

  • 注释错误与 NER：OntoNotes 5.0 研究

    该研究通过使用三种简单技术在 OntoNotes 5.0 语料库中检测注释错误，对英文命名实体识别（Named Entity Recognition，NER）的训练集、开发集和测试集进行了大量修正，提高了 1.23% 的整体 F 分数，对某些实体类型的改进超过 10%。这些技术可应用于其他 NER 数据集和其他序列标记任务。

    Jun, 2024

  • CrossNER: 跨领域命名实体识别的评估

    为了解决交叉域命名实体识别 (NER) 任务中样本少的问题，作者提出了一个跨领域 NER 数据集 CrossNER, 进行了一系列实验来探索利用不同级别的领域语料库和预训练策略进行域自适应预训练的有效性，研究表明利用包含领域特定实体的分数语料库并采用更具挑战性的预训练策略对于 NER 的域自适应有益，提出的方法在跨领域 NER 基线上效果更好。

    Dec, 2020

  • 高度不平衡数据下适应性命名实体识别

    本报告提出了一种基于条件随机场层和双向 LSTM 层的神经网络体系结构，其中嵌入向量（Glove，BERT）的融合输入被用来增强模型的泛化能力，还引入了一个分类模型来分离句子并对弱类和强类进行优化以提高 Named Entity Recognition 任务的性能。经实验证明，该方法显著提高了弱类的表现结果，并且只使用了非常少量的数据集。

    Mar, 2020

  • CoNLL-2003 命名实体标注器在 2023 年依然有效吗？

    本文通过构建新的标注测试集 CoNLL++ 来评估 20 多种不同模型对现代数据的泛化能力。实验结果表明，模型的泛化能力与模型的规模和预训练数据密切相关，而标准评估方法可能低估了过去 20 年命名实体识别方面取得的进展。

    Dec, 2022

  • 跨语言命名实体识别的增强迭代知识蒸馏

    本文描述了微软在交叉语种命名实体识别中的新实践方法，使用源语种的标注数据和目标语种的无标注数据，采用半监督学习和强化学习的方法来提取弱监督信号并实现了新的最先进性能优于现有的模型。

    Jun, 2021