NIPSAug, 2016

标记众包中预算 - 保真度权衡的基本限制

PDF
TL;DR通过信息论速率失真框架对人在循环计算问题进行建模和分析，以确定通过任何形式的查询和任何解码算法的结果和给定预算所能达到的最终保真度。此外，该论文还介绍并分析了一种查询方案，称为 $k$ -ary incidence coding，并研究了该场景下的查询定价。
digital crowdsourcinghuman-in-the-loop computationinformation theoretic rate-distortion frameworkquery schemeoptimized query pricing
发现论文，激发创造
  • 通过自适应方案在众包中实现预算最优

    该研究探讨了如何在固定预算下最大化标注数据的精确度，比较自适应任务分配与非自适应任务分配之间的优劣，并使用概率模型来解决这个问题。

    Feb, 2016

  • 可靠众包系统的预算最优任务分配

    本文考虑众包任务分配中的可靠性问题，提出了一种基于置信传播和低秩矩阵逼近的算法来决定如何分配任务，并从工人的答案中推断出正确答案。比较了不同算法的表现，发现基于者非自适应的算法是最优的。此外，还强调了建立可靠的工人信誉系统对于完全运用自适应设计的潜力至关重要。

    Oct, 2011

  • 使用编码理论进行多类标注的可靠众包

    本文介绍了一种利用码的错误控制代码和解码算法来设计众包系统的方法，以实现对于不可靠众包工作者进行可靠分类。我们分析了三种不同的众包模型，并考虑了众包质量的排序原则，结果表明利用好的码可能优于常规的多数表决方法。

    Sep, 2013

  • 一种可证明改进的众包算法，适用于难和易任务

    本文提出了一种基于谱方法的标签聚类算法，从而在众包任务中提高 Dawid-Skene 模型推理个体正确标签的准确度。

    Feb, 2023

  • 众包场景下的动态任务分配

    本文提出一种基于互信息解释的众包问题优化任务分配的方法，通过动态任务分配实现更高的准确度和可能需要更少的标签，从而提高了任务分配的效果。

    Jan, 2017

  • 廉价而更好：众包选择好工作者

    本文研究如何在预算限制下，选择优质工人子集以达到最大准确性，并通过组合优化算法解决此问题，证明该算法能够有效地选择少数高质量工人，并在模拟和实际数据集上表现良好。

    Feb, 2015

  • 带有约束条件的贝叶斯众包

    本文探讨半监督众包分类在标签约束和实例约束两种情况下的贝叶斯算法，该算法基于变分推断，可以比无监督众包分类更有效地对人工注释信息进行聚合，该算法在多个众包数据集上的分析和实证验证了其表现的可量化提升。

    Dec, 2020

  • 拥抱错误以实现快速众包

    本文提出了一种快速评判用于二元和分类标签的技术，避免所有错误，快速评判的同时通过随机任务顺序和建模响应延迟来纠正错误，通过广泛的标记任务验证，相较于之前工作实现的 0.25x 到 1x 的加速，我们的方法通常实现 10 倍的加速效果。

    Feb, 2016

  • CDAS: 一个众包数据分析系统

    该研究介绍了一种基于众包的数据分析系统，其中包含了质量敏感型质量控制模型，并利用 Twitter 和 Flickr 数据展示了该系统在推特情感分析和图像标注等任务上的较高精度。

    Jun, 2012

  • 自适应 Crowdsourcing 算法用于 Bandit Survey 问题

    通过自适应质量控制的简单模型，我们解决了多项选择任务中的 Bandit 调查问题，提出了几种算法，并通过分析和模拟支持了我们的方法。

    Feb, 2013