通过对两个论证质量分类任务（论证具体性和结论的有效性 / 新颖性）的研究，我们发现推荐系统架构相对于多数标签模型能使得个体标注者的 F1 得分提高高达 43％，这表明在处理主观性时，与个体观点相关的方法是可行的。

Nov, 2023

通过研究多注释者模型的功效，我们的多任务方法将预测每个注释者的判断作为单独的子任务并共享任务的共同学习表示来解决注释者间的不一致性问题，并且表明这种方法比在训练之前聚合标签的方法在七个不同的二元分类任务中产生了相同或更好的性能。此外，在我们的方法中，我们证明我们可以估计不确定性，这些不确定性更好地与注释不一致性相关联，而这种模型不确定性特别适用于知道何时不作出预测的部署场景。

Oct, 2021

对于机器学习中的数据标注，多年来一直采用从多个标注者那里收集和汇总标签的方法。然而，当标注者不一致时，我们应该怎么办呢？尽管长期以来，标注者的不一致被视为需要最小化的问题，但新的观点主义方法质疑这一假设，将不一致视为宝贵的信息源。本文中，我们研究了有关标注者不一致的实践和假设，一些是受观点主义方法的挑战，一些是待解决的问题，以及基于这些假设进行工作的实际和规范性挑战。我们最后提出了对数据标注流程的建议，并探索与主观性和不一致性有关的未来研究方向。

May, 2024

通过提取注释者在五个主观数据集中的选票历史中的不同意标签，并微调语言模型来预测注释者的不同意。结果表明，了解注释者的人口统计信息可以帮助预测不同意见。通过模拟不同的注释者人工人口统计信息，来区分文本内容固有的争议和注释者不同观点之间的分歧，旨在通过一种新颖的分歧预测机制，改进注释流程，实现更高效和包容性的 NLP 系统。

Jan, 2023

旨在全面涵盖多样性的标注任务中，仅依赖于大多数类别标签的模型可能会无意中忽视宝贵的少数派观点，因此需要探索各种标注者建模技术的有效性，并比较它们在七个语料库中的性能。通过研究发现，常用的用户标记模型始终胜过更复杂的模型，并引入了一种复合嵌入方法，展示了模型性能与给定数据集的一致性之间的明显差异。这些发现揭示了语料统计和标注者建模性能之间的关系，为语料构建和多视角自然语言处理的未来工作提供了启示。

Apr, 2024

本文报告第二届 LeWiDi 共享任务，其集中于争议性任务。为了训练和评估 NLP 模型，提出了一种保留所有注释者判断的新的语料库创建方法，并介绍了敦促 NLP 研究人员采用这种方法的 LeWiDi 系列。

Apr, 2023

自然语言推理（NLI）是评估人工智能语言理解的基础。我们认为，现有模型在模糊的例子上失败并且表现出差劲的泛化能力，这是由于忽视了意义的主观性，它与个体的世界观密切相关。我们提出了一种观点主义的方法：构建捕捉注解者人口统计、价值观和标签理由的数据集。这样的数据集将明确地建模多样化的世界观。我们对 SBIC 数据集的一个子集进行的初步实验表明，即使是有限的注解者元数据也能提高模型的性能。

May, 2024

通过多任务学习和基于损失的标签修正，我们提出了一种学习多样化意见更准确表达的方法，并展示了该方法在单个或多个注释者注释情况下改善预测性能的能力，同时对主观数据应用的附加标签噪音也表现出鲁棒性。

Nov, 2023

本文使用四个数据集提供的 SemEval-2023 任务 11 训练数据，并微调 BERT 模型，以捕捉反对意见。研究结果表明，单独注释者建模和聚合降低了交叉熵得分平均约为 0.21，这进一步证明注释者元数据有助于平均降低互信息损失得分约为 0.029。

May, 2023

针对网络暴力检测中的数据标注员意见分歧问题，提出了一种预测个体标注员评估与目标群体意见的模型，并通过结合潜在目标群体与评估进行评估，在预测任务中表现出了 22% 的性能提升和 33% 的模型不确定性预测能力。我们发现，标注员的评估可以通过其在线内容的人口统计信息和意见进行预测，而无需跟踪标注员 ID。同时，我们还发现在预测标注员意见时，使用非侵入性调查问题有助于最大程度保护隐私和最小化不必要的个人信息收集。

May, 2023