Jun, 2024

注释错误与 NER：OntoNotes 5.0 研究

PDF
TL;DR该研究通过使用三种简单技术在 OntoNotes 5.0 语料库中检测注释错误，对英文命名实体识别（Named Entity Recognition，NER）的训练集、开发集和测试集进行了大量修正，提高了 1.23% 的整体 F 分数，对某些实体类型的改进超过 10%。这些技术可应用于其他 NER 数据集和其他序列标记任务。
发现论文，激发创造
  • 注释错误检测：分析过去和现在，创造更连贯的未来

    本文重新实现并评估了 18 种检测可能存在的注释错误的方法，并在 9 个英文数据集上进行了评估，同时提供了评估协议和实现的开源软件包，以促进未来的研究和再现性。

    Jun, 2022

  • E-NER -- 一份法律文本的命名实体识别注释语料库

    本研究主要介绍了一个公共的法律命名实体识别数据集 E-NER，它表明将通用英语文本数据集训练的命名实体识别模型应用于法律文本会导致重大的性能下降，与在 E-NER 数据集上训练和测试相比，F1 分数下降了 29.4％至 60.4％。

    Dec, 2022

  • 实体的不同偏好：研究命名实体标注中的人工标签变化

    本研究通过对三种语言的专家注释的命名实体数据集进行调查，展示了文本歧义和人工指南变更是高质量修订的差异性注释的主要因素，并对难以理解的实体的学生注释进行了调查，证明了从分布视角理解命名实体歧义的多向注释的可行性和必要性。

    Feb, 2024

  • NERetrieve: 下一代命名实体识别与检索数据集

    通过大规模语言模型，命名实体识别可以达到更精细化的实体类型识别、零样本识别和语句检索等目标，但这些目标仍然需要进一步研究和探索。

    Oct, 2023

  • 使用部分标注的训练数据进行命名实体识别

    研究了使用部分标记数据进行命名实体识别的问题，用迭代算法通过识别假负标签减小其权值，训练带有偏重的 NER 模型，取得 8 种语言的实验结果，并在孟加拉语 NER 语料库中比现有最优算法提高 5 个百分点的 F1 分数。

    Sep, 2019

  • 命名实体识别中的泛化：定量分析

    本文旨在量化命名实体识别（NER）方法在 Web 内容和用户生成内容中的多样性如何影响其效果，并发现 NER 方法在具有有限训练数据的多样化数据类型中难以实现推广。文章还发现，领先的 NER 系统靠训练数据中的表面形式，很难进行推广。

    Jan, 2017

  • CoNLL#: CoNLL-03 英文细粒度错误分析和校正测试集

    现代命名实体识别系统在更大更强大的神经模型时代中稳步提高性能。本文通过对最高性能 NER 模型的测试输出进行深入分析，并在测试集上引入新的文档级注释，对其性能进行精细评估。我们通过对错误进行分类，超越 F1 分数，解释 NER 的真实技术水平并指导未来的研究。我们回顾了之前纠正测试集各种缺陷的尝试，并引入了一个新的纠正版本 CoNLL#，解决了其系统性和最常见的错误，从而允许进行低噪声、可解释的错误分析。

    May, 2024

  • 面向音乐推荐对话的命名实体识别研究

    这项人类主题研究的目标是学习如何在有挑战性的情况下，引导设计更好的评估方法和 NER 算法，比较 NER 在有许多不规则和新颖的命名实体的对话音乐推荐查询语料库上的人类和算法表现，并分析了不同类型实体的错误模式。

    Mar, 2023

  • 关于现有顶尖 NER 技术状态我们真正了解了什么？

    本文通过对多种文本来源进行广泛评估以及通过构建新的对抗性测试集合，试图评估目前三种最先进的命名实体识别模型。在评估中，我们呈现了一些有用的报告实践方法，以便于提高当前模型性能的理解和提高未来研究的效率。

    Apr, 2022

  • Twitter 上的命名实体识别：短期时间漂移的数据集和分析

    本研究旨在探索利用预训练模型进行 Twitter 命名实体识别的问题，构建了一个包含七个实体类型的数据集 TweetNER7，并提供了一组语言模型基线。通过分析不同时期对语言模型性能的影响，尤其是短期降级、基于不同时间段进行语言模型微调的策略和自我标记作为最近标记数据的替代方案。

    Oct, 2022