NIPSJun, 2016

一种极小极大算法用于群体外包

PDF
TL;DR本文提出一种名为 Triangular Estimation（TE）的算法用于估计众包工作者的可靠性，并得出了一个新的下限，该下限适用于任何估计程序。通过对合成和现实数据集的性能评估，证明 TE 的最小最大近似误差具有优越性。
crowdsourcingreliability estimationtriangular estimationminimax estimation errorworker labels
发现论文，激发创造
  • 众包的正则化极小极大条件熵

    本文提出了一种利用极小化最大条件熵原理从嘈杂的众包标签中推断出真实标签的独特概率标记模型，该模型考虑到了工人能力和项目难度等因素，并提出了客观测量原则验证。

    Mar, 2015

  • 众包标注估计基础真相的极小最优收敛速率

    本文证明了 Dawid-Skene 估计器的投影 EM 算法收敛速率的最优性，并通过一个比较研究与多数投票相比，展示了 Dawid-Skene 估计器的优势与局限性。

    Oct, 2013

  • 可靠众包系统的预算最优任务分配

    本文考虑众包任务分配中的可靠性问题，提出了一种基于置信传播和低秩矩阵逼近的算法来决定如何分配任务，并从工人的答案中推断出正确答案。比较了不同算法的表现，发现基于者非自适应的算法是最优的。此外，还强调了建立可靠的工人信誉系统对于完全运用自适应设计的潜力至关重要。

    Oct, 2011

  • 众包的极小化误差率分析及其在工人聚类模型中的应用

    该研究针对实际的众包模型和更广泛类别的众包模型，推导出更实用的 Dawid 和 Skene 模型的最小化极差错误率，并提出了一种更实用的工人聚类模型，得到的实验结果与理论分析结果在最小极差错误率下具有较强的相似性。

    Feb, 2018

  • 基于置换的众包标注模型：最优估计与鲁棒性

    本文提出一种排列模型 - 用于聚合和去噪众包标注数据，该模型是对经典的 Dawid-Skene 模型的重要推广，并介绍了一种新的误差度量方法，用于比较不同的估计器。我们设计了两种计算有效的估计器：WAN 估计器和 OBI-WAN 估计器，并对它们的性能进行了非渐近界限的界定。最后通过合成模拟和实验数据验证了理论结果。

    Jun, 2016

  • 从含有噪声的带有单标签数据中学习

    提出一种新的算法来联合建模标签和工作者质量，从带有噪声的众包数据中学习，可优化有限的标注资源，解决如何从噪声工作者中学习以及如何分配标注预算来最大化分类器性能等问题。

    Dec, 2017

  • 众包的最优速率中的精确指数

    本文研究了通过非专业工作者提供的标签进行聚合的最佳错误率，并在 Dawid-Skene 模型下建立了匹配的上下界和精确指数，该精确表征错误指数允许我们陈述达到 ε 比分类误差所需的精确样本大小要求，此外，我们的结果表明，各种由一致估计初始化的众包 EM 算法的最优性。

    May, 2016

  • 众包场景下的动态任务分配

    本文提出一种基于互信息解释的众包问题优化任务分配的方法，通过动态任务分配实现更高的准确度和可能需要更少的标签，从而提高了任务分配的效果。

    Jan, 2017

  • 一种可证明改进的众包算法，适用于难和易任务

    本文提出了一种基于谱方法的标签聚类算法，从而在众包任务中提高 Dawid-Skene 模型推理个体正确标签的准确度。

    Feb, 2023

  • 评估人群的可靠性

    本文介绍了一种用于生成工人错误率估计的置信区间的技术，以更好地评估工人质量。实验结果表明该技术在真实数据集中能生成正确的置信区间，并可用于清退表现不佳的工人，并为答案的准确性提供置信区间。

    Nov, 2014