Sep, 2013

使用编码理论进行多类标注的可靠众包

PDF
TL;DR本文介绍了一种利用码的错误控制代码和解码算法来设计众包系统的方法，以实现对于不可靠众包工作者进行可靠分类。我们分析了三种不同的众包模型，并考虑了众包质量的排序原则，结果表明利用好的码可能优于常规的多数表决方法。
发现论文，激发创造
  • 可靠众包系统的预算最优任务分配

    本文考虑众包任务分配中的可靠性问题，提出了一种基于置信传播和低秩矩阵逼近的算法来决定如何分配任务，并从工人的答案中推断出正确答案。比较了不同算法的表现，发现基于者非自适应的算法是最优的。此外，还强调了建立可靠的工人信誉系统对于完全运用自适应设计的潜力至关重要。

    Oct, 2011

  • 众包的监督集体分类

    本论文提出一种有监督的集成分类算法，旨在确定训练数据（例如，具有已知标签的项目）中可靠的标注者（即加权因子），使用马鞍点算法来确定每个标注者的可靠性，研究结果表明，有监督的方法可以比无监督的方法获得更好的分类准确性，而我们提出的方法优于其他算法。

    Jul, 2015

  • 标记众包中预算 - 保真度权衡的基本限制

    通过信息论速率失真框架对人在循环计算问题进行建模和分析，以确定通过任何形式的查询和任何解码算法的结果和给定预算所能达到的最终保真度。此外，该论文还介绍并分析了一种查询方案，称为 $k$ -ary incidence coding，并研究了该场景下的查询定价。

    Aug, 2016

  • 拥抱错误以实现快速众包

    本文提出了一种快速评判用于二元和分类标签的技术，避免所有错误，快速评判的同时通过随机任务顺序和建模响应延迟来纠正错误，通过广泛的标记任务验证，相较于之前工作实现的 0.25x 到 1x 的加速，我们的方法通常实现 10 倍的加速效果。

    Feb, 2016

  • 一种可证明改进的众包算法，适用于难和易任务

    本文提出了一种基于谱方法的标签聚类算法，从而在众包任务中提高 Dawid-Skene 模型推理个体正确标签的准确度。

    Feb, 2023

  • 通过自适应方案在众包中实现预算最优

    该研究探讨了如何在固定预算下最大化标注数据的精确度，比较自适应任务分配与非自适应任务分配之间的优劣，并使用概率模型来解决这个问题。

    Feb, 2016

  • 众包质量控制的统计建模和设计方法技术调研

    本文介绍了众包质量控制中机制设计和统计模型两大分支的研究和应用，提出了系统化统一机制以确定响应质量的框架，并对质量控制论文进行了分类，并指出了当前的限制和未来的方向。

    Dec, 2018

  • 评估人群的可靠性

    本文介绍了一种用于生成工人错误率估计的置信区间的技术，以更好地评估工人质量。实验结果表明该技术在真实数据集中能生成正确的置信区间，并可用于清退表现不佳的工人，并为答案的准确性提供置信区间。

    Nov, 2014

  • 带有约束条件的贝叶斯众包

    本文探讨半监督众包分类在标签约束和实例约束两种情况下的贝叶斯算法，该算法基于变分推断，可以比无监督众包分类更有效地对人工注释信息进行聚合，该算法在多个众包数据集上的分析和实证验证了其表现的可量化提升。

    Dec, 2020

  • 众包中的批准投票和激励

    本文介绍了一种利用批准投票和合适的激励机制来提高众包数据标注质量的方法，并通过理论与实证的研究验证了该方法的优越性。

    Feb, 2015