本研究提出一种新的方法，利用传统用于评估标记一致性的 IAA（Inter-Annotator Agreement），用于优化数据管理操作（DMOps）；我们主张使用 IAA 预测个体注释者的标记质量，从而在数据生产中实现成本和时间效益。此外，我们的研究强调了 IAA 在预测文档难度方面的潜力，从而提高了数据构建过程的整体效率。本研究强调了 IAA 在数据驱动的研究优化中的广泛应用潜力，并对优先考虑效率、成本减少和高质量数据的大规模数据项目具有重要意义。

Jun, 2023

本研究探讨了复杂注释任务的 IAA 测量设计与评估，评估跨越了图像边界框、文本序列标记、排名列表、自由文本翻译、数值向量和语法树等 7 个多样化任务，并提出了两种新颖的 IAA 测量方法，显示它们在任务和注释距离函数之间产生了更一致的 IAA 测量。

Dec, 2022

该研究提出使用 intra-annotator agreement 衡量标签稳定性，通过 exploratory annotation experiments 探索其与主观性和歧义性之间的关系，为自然语言处理任务提供重要的质量控制。

Jan, 2023

本文探讨了通过众包方式进行 NLP 数据集标注时，标注者之间的社会文化背景和个体经验差异可能导致的标签汇总引入了代表性偏差，并提高了数据集透明度和实用性的建议。

Oct, 2021

提出一种名为 Learn2Agree 的学习框架，用于协调多个标注者之间的不确定性，以更好地进行医疗预测和诊断。

Sep, 2021

研究了人类句法注释的两个关键特性：基于锚定和协议，通过 Penn Treebank WSJ 中的例句系统地获得英语依赖解析器的间注者一致性估计。发现锚定效应对人类编辑语法资源的创建有负面影响，并且通过该方法获得的语法注释质量低于基于人类的注释。

May, 2016

机器翻译系统的质量评估被提出的错误范围标注协议辅助，使用自动质量估计填充范围注释可以提供更详细的注释并将每个范围注释的时间缩短了一半，此外还可以减少最多 24% 的注释预算。

Jun, 2024

通过创建标注者表征（标注者嵌入）和他们的标注（标注嵌入），并为每个表征分配可学习矩阵，我们的方法显著提高了各种自然语言处理基准测试的模型性能。通过捕捉个体标注者的独特倾向和主观性，我们的表征有助于民主化 AI，并确保 AI 模型包容多元化观点。

May, 2023

在主动学习设置中，多头模型在不确定性估计方面显着优于单头模型。通过设计和评估具有特定标注员头的获取函数在两个数据集上，我们展示了群体级别的熵在两个数据集上表现良好。重要的是，它在预测和不确定性估计方面的性能与全量训练相当，同时节约高达 70% 的标注预算。

Oct, 2023

通过研究多注释者模型的功效，我们的多任务方法将预测每个注释者的判断作为单独的子任务并共享任务的共同学习表示来解决注释者间的不一致性问题，并且表明这种方法比在训练之前聚合标签的方法在七个不同的二元分类任务中产生了相同或更好的性能。此外，在我们的方法中，我们证明我们可以估计不确定性，这些不确定性更好地与注释不一致性相关联，而这种模型不确定性特别适用于知道何时不作出预测的部署场景。

Oct, 2021