ACLJul, 2023

主观数据的主观众群分歧：通过群体级学习揭示有意义的众人观点

PDF
TL;DR通过使用语言特征和标签分布，我们介绍了一种无监督学习方法 CrowdOpinion，用于将类似项目汇集为更大的标签分布样本，其中涉及人工智能系统的公平性和人工注释者不一致问题的解决。
human-annotated datafairnessai systemsannotator disagreementcrowdopinion
发现论文，激发创造
  • 当大多数人都错了：利用注释者的分歧来完成主观任务

    针对网络暴力检测中的数据标注员意见分歧问题，提出了一种预测个体标注员评估与目标群体意见的模型，并通过结合潜在目标群体与评估进行评估，在预测任务中表现出了 22% 的性能提升和 33% 的模型不确定性预测能力。我们发现，标注员的评估可以通过其在线内容的人口统计信息和意见进行预测，而无需跟踪标注员 ID。同时，我们还发现在预测标注员意见时，使用非侵入性调查问题有助于最大程度保护隐私和最小化不必要的个人信息收集。

    May, 2023

  • 众人的声音都很重要：利用人口统计信息量化注释不一致性

    通过提取注释者在五个主观数据集中的选票历史中的不同意标签，并微调语言模型来预测注释者的不同意。结果表明，了解注释者的人口统计信息可以帮助预测不同意见。通过模拟不同的注释者人工人口统计信息，来区分文本内容固有的争议和注释者不同观点之间的分歧，旨在通过一种新颖的分歧预测机制，改进注释流程，实现更高效和包容性的 NLP 系统。

    Jan, 2023

  • 关于发布数据集中的标注者层次标签和信息

    本文探讨了通过众包方式进行 NLP 数据集标注时，标注者之间的社会文化背景和个体经验差异可能导致的标签汇总引入了代表性偏差，并提高了数据集透明度和实用性的建议。

    Oct, 2021

  • 处理意见不合：超越主观标注中的多数派投票

    通过研究多注释者模型的功效，我们的多任务方法将预测每个注释者的判断作为单独的子任务并共享任务的共同学习表示来解决注释者间的不一致性问题，并且表明这种方法比在训练之前聚合标签的方法在七个不同的二元分类任务中产生了相同或更好的性能。此外，在我们的方法中，我们证明我们可以估计不确定性，这些不确定性更好地与注释不一致性相关联，而这种模型不确定性特别适用于知道何时不作出预测的部署场景。

    Oct, 2021

  • 从集体人类意见中我们能学到自然语言推理数据的什么？

    通过 ChaosNLI 数据集，该研究发现人们在 NLI 评估中存在高度的主观性，新颖度极强的数据集会导致现有模型表现不佳，并提出了考虑人类评价的分布的新评估指标。

    Oct, 2020

  • 同意不同意：在冒犯性词语数据集上注释注解者的不同意见

    本文提出了一种用于创建自然语言数据集的方法，通过将标注者的观点选为不同的训练集和测试集，可以提高分类器的性能和鲁棒性，为社交媒体中的恶意语言检测提供更好的数据准备。

    Sep, 2021

  • 基于群众标注的多视角知识蒸馏用于领域外泛化

    本文提出了新的方法以通过温度调节和 Jensen-Shannon 中心法从众包注释中汇总多个视角的分布，从而获得软标签。我们展示了这些聚合方法在四项自然语言处理任务中表现出最佳或接近最佳的性能，同时还验证了这些方法在任务不确定性估计上表现最佳。

    Dec, 2022

  • CrowdTruth 2.0: 众包质量度量与不一致性

    本文介绍了 CrowdTruth metrics，这是一种捕捉人群外包中标注者不一致性并对其进行解释的方法。该方法通过度量 worker，输入数据和注释三个主要组成部分之间的相互依赖关系来捕捉这种不确定度。

    Aug, 2018

  • 众包标注群体真相的经验方法学

    本篇文章提出了使用 CrowdTruth 衡量指标来有效地收集多领域多任务的 ground truth 数据，比传统的投票方式更具优势，并研究了人数增加对标注质量的影响。

    Sep, 2018

  • 无标准数据情况下的众包研究 -- 案例分析

    本文研究了在线辅导平台上对话的困扰个体的情绪估计的主观评估任务，探讨了聚合评估者选择的策略，展示了一个简单的投票共识与优化聚合方法在这个任务中同样有效，并设计了一种机器学习算法来执行相同的任务。有趣的是，我们观察到了一个没有明确建模评估者主观性的机器学习算法，在评估最主要的情绪时与人类评估一样可靠。

    Jun, 2019