Feb, 2016

拥抱错误以实现快速众包

PDF
TL;DR本文提出了一种快速评判用于二元和分类标签的技术，避免所有错误，快速评判的同时通过随机任务顺序和建模响应延迟来纠正错误，通过广泛的标记任务验证，相较于之前工作实现的 0.25x 到 1x 的加速，我们的方法通常实现 10 倍的加速效果。
microtask crowdsourcingdataset advancesrapid judgmentsmodeling response latencyspeedup
发现论文，激发创造
  • 通过自适应方案在众包中实现预算最优

    该研究探讨了如何在固定预算下最大化标注数据的精确度，比较自适应任务分配与非自适应任务分配之间的优劣，并使用概率模型来解决这个问题。

    Feb, 2016

  • 使用编码理论进行多类标注的可靠众包

    本文介绍了一种利用码的错误控制代码和解码算法来设计众包系统的方法，以实现对于不可靠众包工作者进行可靠分类。我们分析了三种不同的众包模型，并考虑了众包质量的排序原则，结果表明利用好的码可能优于常规的多数表决方法。

    Sep, 2013

  • 众包中的批准投票和激励

    本文介绍了一种利用批准投票和合适的激励机制来提高众包数据标注质量的方法，并通过理论与实证的研究验证了该方法的优越性。

    Feb, 2015

  • 一种可证明改进的众包算法，适用于难和易任务

    本文提出了一种基于谱方法的标签聚类算法，从而在众包任务中提高 Dawid-Skene 模型推理个体正确标签的准确度。

    Feb, 2023

  • 众包深度学习

    本文提出了一种基于 EM 算法和众包技术的神经网络训练模型，能够直接从多个标注者的嘈杂标签数据中进行有监督学习，并能够捕捉不同标注者的可靠性和偏见，最终在多个领域获得了新的最优结果。

    Sep, 2017

  • 评估人群的可靠性

    本文介绍了一种用于生成工人错误率估计的置信区间的技术，以更好地评估工人质量。实验结果表明该技术在真实数据集中能生成正确的置信区间，并可用于清退表现不佳的工人，并为答案的准确性提供置信区间。

    Nov, 2014

  • 大规模真相推断：Bayesian 模型用于裁决高度冗余的众包注释

    本文提出了一种基于贝叶斯图形模型的技术，用于有效地处理高度冗余注释数据，相比于多数真实推断模型，我们的方法得出了更优质的结果。

    Feb, 2019

  • 可靠众包系统的预算最优任务分配

    本文考虑众包任务分配中的可靠性问题，提出了一种基于置信传播和低秩矩阵逼近的算法来决定如何分配任务，并从工人的答案中推断出正确答案。比较了不同算法的表现，发现基于者非自适应的算法是最优的。此外，还强调了建立可靠的工人信誉系统对于完全运用自适应设计的潜力至关重要。

    Oct, 2011

  • 众包的最优速率中的精确指数

    本文研究了通过非专业工作者提供的标签进行聚合的最佳错误率，并在 Dawid-Skene 模型下建立了匹配的上下界和精确指数，该精确表征错误指数允许我们陈述达到 ε 比分类误差所需的精确样本大小要求，此外，我们的结果表明，各种由一致估计初始化的众包 EM 算法的最优性。

    May, 2016

  • TruEyes：利用移动应用中的微任务进行众包标注机器学习数据集

    TruEyes 是一种协作众包系统，通过将微任务分配给移动应用程序用户来解决大批量任务导致工人疲劳从而影响标注质量的问题，评估结果表明所标注的数据质量与传统的众包方法相当，并且大多数用户更喜欢任务广告而不是传统广告。

    Sep, 2022