Sep, 2018

众包标注群体真相的经验方法学

PDF
TL;DR本篇文章提出了使用 CrowdTruth 衡量指标来有效地收集多领域多任务的 ground truth 数据，比传统的投票方式更具优势，并研究了人数增加对标注质量的影响。
发现论文，激发创造
  • 医学关系提取的众包真实性数据

    使用 CrowdTruth 方法通过众包获得医疗关系提取的注释数据集，并通过建模歧义性提高数据质量并减少成本，展示了在人类和机器性能方面均考虑歧义性时的加权测量精度、召回率和 F 度量的优势。

    Jan, 2017

  • CrowdTruth 2.0: 众包质量度量与不一致性

    本文介绍了 CrowdTruth metrics，这是一种捕捉人群外包中标注者不一致性并对其进行解释的方法。该方法通过度量 worker，输入数据和注释三个主要组成部分之间的相互依赖关系来捕捉这种不确定度。

    Aug, 2018

  • 大规模真相推断：Bayesian 模型用于裁决高度冗余的众包注释

    本文提出了一种基于贝叶斯图形模型的技术，用于有效地处理高度冗余注释数据，相比于多数真实推断模型，我们的方法得出了更优质的结果。

    Feb, 2019

  • 用于在线部署适用的真实推断算法验证数据集

    通过收集真实世界众包平台上的大量数据样本，本文分析了数据集的特征并评估了几种代表性真实标签推断算法的有效性，为跟踪不同类型任务下工作者的能力随时间变化以及增强在线真实标签推断提供了启示。

    Mar, 2024

  • 无标准数据情况下的众包研究 -- 案例分析

    本文研究了在线辅导平台上对话的困扰个体的情绪估计的主观评估任务，探讨了聚合评估者选择的策略，展示了一个简单的投票共识与优化聚合方法在这个任务中同样有效，并设计了一种机器学习算法来执行相同的任务。有趣的是，我们观察到了一个没有明确建模评估者主观性的机器学习算法，在评估最主要的情绪时与人类评估一样可靠。

    Jun, 2019

  • 无地面真实数据情况下对众包参与者的评估

    该研究探讨了多个注释者可用的监督 / 半监督学习场景下识别对抗性或不可靠注释者的问题。

    May, 2016

  • 谁的真实？考虑个体和集合身份的数据集标注

    本文调查了众包数据集标注的伦理考虑，提出了 ML 数据管道各阶段的一系列推荐和考虑因素。

    Dec, 2021

  • 关于发布数据集中的标注者层次标签和信息

    本文探讨了通过众包方式进行 NLP 数据集标注时，标注者之间的社会文化背景和个体经验差异可能导致的标签汇总引入了代表性偏差，并提高了数据集透明度和实用性的建议。

    Oct, 2021

  • 主观数据的主观众群分歧：通过群体级学习揭示有意义的众人观点

    通过使用语言特征和标签分布，我们介绍了一种无监督学习方法 CrowdOpinion，用于将类似项目汇集为更大的标签分布样本，其中涉及人工智能系统的公平性和人工注释者不一致问题的解决。

    Jul, 2023

  • 再审视用于可解释 NLP 的人工标注

    通过对可解释 NLP 中两个广泛使用数据集上人类注释行为及其质量进行的实验表明，工作者的资质和注释过程的细节有着显著影响，并且特定的可解释性方法会随着不同指导下获得的 ground truth rationales 而有所不同。因此，研究人员需要提供完整的注释细节并谨慎解释使用这些注释所得到的实验结果的重要性。

    Apr, 2022