ICMLFeb, 2018

众包的极小化误差率分析及其在工人聚类模型中的应用

PDF
TL;DR该研究针对实际的众包模型和更广泛类别的众包模型，推导出更实用的 Dawid 和 Skene 模型的最小化极差错误率，并提出了一种更实用的工人聚类模型，得到的实验结果与理论分析结果在最小极差错误率下具有较强的相似性。
发现论文，激发创造
  • 众包标注估计基础真相的极小最优收敛速率

    本文证明了 Dawid-Skene 估计器的投影 EM 算法收敛速率的最优性，并通过一个比较研究与多数投票相比，展示了 Dawid-Skene 估计器的优势与局限性。

    Oct, 2013

  • 基于置换的众包标注模型：最优估计与鲁棒性

    本文提出一种排列模型 - 用于聚合和去噪众包标注数据，该模型是对经典的 Dawid-Skene 模型的重要推广，并介绍了一种新的误差度量方法，用于比较不同的估计器。我们设计了两种计算有效的估计器：WAN 估计器和 OBI-WAN 估计器，并对它们的性能进行了非渐近界限的界定。最后通过合成模拟和实验数据验证了理论结果。

    Jun, 2016

  • 一种极小极大算法用于群体外包

    本文提出一种名为 Triangular Estimation（TE）的算法用于估计众包工作者的可靠性，并得出了一个新的下限，该下限适用于任何估计程序。通过对合成和现实数据集的性能评估，证明 TE 的最小最大近似误差具有优越性。

    Jun, 2016

  • 众包的最优速率中的精确指数

    本文研究了通过非专业工作者提供的标签进行聚合的最佳错误率，并在 Dawid-Skene 模型下建立了匹配的上下界和精确指数，该精确表征错误指数允许我们陈述达到 ε 比分类误差所需的精确样本大小要求，此外，我们的结果表明，各种由一致估计初始化的众包 EM 算法的最优性。

    May, 2016

  • 众包的正则化极小极大条件熵

    本文提出了一种利用极小化最大条件熵原理从嘈杂的众包标签中推断出真实标签的独特概率标记模型，该模型考虑到了工人能力和项目难度等因素，并提出了客观测量原则验证。

    Mar, 2015

  • 一种可证明改进的众包算法，适用于难和易任务

    本文提出了一种基于谱方法的标签聚类算法，从而在众包任务中提高 Dawid-Skene 模型推理个体正确标签的准确度。

    Feb, 2023

  • 拥抱错误以实现快速众包

    本文提出了一种快速评判用于二元和分类标签的技术，避免所有错误，快速评判的同时通过随机任务顺序和建模响应延迟来纠正错误，通过广泛的标记任务验证，相较于之前工作实现的 0.25x 到 1x 的加速，我们的方法通常实现 10 倍的加速效果。

    Feb, 2016

  • 廉价而更好：众包选择好工作者

    本文研究如何在预算限制下，选择优质工人子集以达到最大准确性，并通过组合优化算法解决此问题，证明该算法能够有效地选择少数高质量工人，并在模拟和实际数据集上表现良好。

    Feb, 2015

  • 光谱方法遇上 EM: 一种可证明优化的众包算法

    本研究提出了一种用于多类众包标注问题的两阶段高效算法，第一阶段使用谱方法获取参数的初始估计，然后第二阶段通过 EM 算法优化 Dawid-Skene 估计器的目标函数来进一步细化估计，实验结果表明该算法具有最优收敛速率。

    Jun, 2014

  • 基于成对共现的众包：可识别性和算法

    本文提出了一个使用注释器响应的成对共现的框架，并展示了算法的实验结果，该算法在多种情况下优于现有算法。

    Sep, 2019