Aug, 2018

CrowdTruth 2.0: 众包质量度量与不一致性

PDF
TL;DR本文介绍了 CrowdTruth metrics，这是一种捕捉人群外包中标注者不一致性并对其进行解释的方法。该方法通过度量 worker，输入数据和注释三个主要组成部分之间的相互依赖关系来捕捉这种不确定度。
crowdsourcinginter-annotator disagreementambiguitycrowdtruth metricsworker input data annotation
发现论文，激发创造
  • 众包标注群体真相的经验方法学

    本篇文章提出了使用 CrowdTruth 衡量指标来有效地收集多领域多任务的 ground truth 数据，比传统的投票方式更具优势，并研究了人数增加对标注质量的影响。

    Sep, 2018

  • 医学关系提取的众包真实性数据

    使用 CrowdTruth 方法通过众包获得医疗关系提取的注释数据集，并通过建模歧义性提高数据质量并减少成本，展示了在人类和机器性能方面均考虑歧义性时的加权测量精度、召回率和 F 度量的优势。

    Jan, 2017

  • 主观数据的主观众群分歧：通过群体级学习揭示有意义的众人观点

    通过使用语言特征和标签分布，我们介绍了一种无监督学习方法 CrowdOpinion，用于将类似项目汇集为更大的标签分布样本，其中涉及人工智能系统的公平性和人工注释者不一致问题的解决。

    Jul, 2023

  • 大规模真相推断：Bayesian 模型用于裁决高度冗余的众包注释

    本文提出了一种基于贝叶斯图形模型的技术，用于有效地处理高度冗余注释数据，相比于多数真实推断模型，我们的方法得出了更优质的结果。

    Feb, 2019

  • 众包中的数据质量与垃圾行为检测

    通过方差分解来评估数据质量和检测垃圾信息威胁，提出垃圾信息指数评估整体数据一致性，并利用马尔可夫链和广义随机效应模型开发了两个指标来衡量群体工作者的可信度。

    Apr, 2024

  • 用于在线部署适用的真实推断算法验证数据集

    通过收集真实世界众包平台上的大量数据样本，本文分析了数据集的特征并评估了几种代表性真实标签推断算法的有效性，为跟踪不同类型任务下工作者的能力随时间变化以及增强在线真实标签推断提供了启示。

    Mar, 2024

  • 无地面真实数据情况下对众包参与者的评估

    该研究探讨了多个注释者可用的监督 / 半监督学习场景下识别对抗性或不可靠注释者的问题。

    May, 2016

  • 高效在线众包任务与复杂注释

    在线众包平台的真实性发现算法在聚合多个标注人的注释时起着重要作用，本论文提出了一种适用于在线众包环境的新方法，能够在有效平衡成本（即标注数量）和注释质量的同时，对一般复杂注释（如边界框和分类路径）进行推断，该方法以 label 者的准确度为线性期望平均相似度，经过对 Meta 真实众包数据的广泛评估后，展示了我们提出的在线算法在改善成本 - 质量权衡方面的有效性。

    Jan, 2024

  • 无标准数据情况下的众包研究 -- 案例分析

    本文研究了在线辅导平台上对话的困扰个体的情绪估计的主观评估任务，探讨了聚合评估者选择的策略，展示了一个简单的投票共识与优化聚合方法在这个任务中同样有效，并设计了一种机器学习算法来执行相同的任务。有趣的是，我们观察到了一个没有明确建模评估者主观性的机器学习算法，在评估最主要的情绪时与人类评估一样可靠。

    Jun, 2019

  • 关于发布数据集中的标注者层次标签和信息

    本文探讨了通过众包方式进行 NLP 数据集标注时，标注者之间的社会文化背景和个体经验差异可能导致的标签汇总引入了代表性偏差，并提高了数据集透明度和实用性的建议。

    Oct, 2021