该研究通过使用三种简单技术在 OntoNotes 5.0 语料库中检测注释错误，对英文命名实体识别（Named Entity Recognition，NER）的训练集、开发集和测试集进行了大量修正，提高了 1.23% 的整体 F 分数，对某些实体类型的改进超过 10%。这些技术可应用于其他 NER 数据集和其他序列标记任务。

Jun, 2024

本研究提出了一个预测性错误模型，用于检测三个规模广泛的机器学习应用（音乐流媒体、视频流媒体和移动应用）的搜索相关性标注任务中的潜在错误，并评估其提高数据标注过程的质量和效率的潜力。研究结果表明，自动错误检测模型可以在数据注释过程的效率和质量方面带来显着改善，并为人机协同机器学习领域提供重要见解。

Oct, 2023

文章调研了自然语言数据集创作的质量管理实践，分析了 591 个科学出版物并发现了其普遍存在的错误和 30% 的工作只达到了次级水平，尤其在使用标注错误率和计算注释错误率方面存在常见错误。

Jul, 2023

通过新的基于模型的方法，我们提出了一种在多任务场景中为每个文本选择逐个注释的任务的方式，从而最大程度地减少注释数量，并且几乎不损失知识，同时还强调了根据注释任务的主观性收集多样化数据以有效训练模型的需求，并通过在单任务和多任务场景中评估模型来衡量主观任务之间的关系，此外，对于某些数据集，仅依靠我们模型预测的标签进行训练，可作为自监督学习规范化技术，提高任务选择的效率。

Dec, 2023

本文讲述了如何利用预训练语言模型降噪数据集，提出了两种任务：注释不一致检测和注释错误更正。作者使用新的可信度分数来检测不一致性，并用两种方法来更正注释。此外，通过重新注释创建了一个新数据集 Re-DocRED，自动降噪训练集将对关系抽取模型产生多达 3.6％的性能提高。

May, 2022

基于机器学习的自动事实核查是识别网络上的虚假信息的一种有希望的方法，针对现有的事实核查语料库规模小、注释不详细、局限于单一领域等问题，本研究提出了一个大规模、多领域的可信事实核查语料库，并进行了模型构建和分析。

Oct, 2019

探讨了在创造和验证视觉和语言注释数据集时所面临的困难和问题，指出现有数据集反映了数据选择和注释过程中出现的问题。

Jul, 2016

本文通过实验展示了人群智力数据集在自然语言理解中的存在问题和缺陷，建议在数据集创建过程中监控注释者的偏见，测试集注释者应该与训练集注释者无交集。

Aug, 2019

本研究通过对三种语言的专家注释的命名实体数据集进行调查，展示了文本歧义和人工指南变更是高质量修订的差异性注释的主要因素，并对难以理解的实体的学生注释进行了调查，证明了从分布视角理解命名实体歧义的多向注释的可行性和必要性。

Feb, 2024

人类标签变异与注释错误是 NLP 基准测试中普遍存在的问题，现有研究通常将其孤立研究。本论文提出了一种系统的方法和一个新的数据集 VariErr，着重研究英语 NLI 任务中的错误与变异。通过评估各种自动错误检测方法和 GPT 模型在发现错误和人类标签变异方面的效果，我们发现目前的自动错误检测方法明显不如 GPT 模型和人类。虽然 GPT-4 是最好的系统，但仍然没有达到人类的表现水平。我们的方法不仅适用于 NLI，也为将来研究错误与合理变异提供了丰富的研究基础，从而可以获得更好、更可靠的 NLP 系统。

Mar, 2024