AAAIMay, 2019

令人沮丧的简单真相发现

PDF
TL;DR本文研究了一种简单的启发式方法来估计工人的能力，使用平均接近度来区分高质量和低质量的工人以及证明了这种方法在广泛的领域和统计模型中能够很好地估计实际能力水平，并且在众包平台上按照工人的平均接近度加权会显著提高聚合结果。该简单的估计是具有恒定正则化因子的 MLE 中的唯一解，在高斯噪声下表现出色。
发现论文，激发创造
  • 关于真实性发现的调查

    该调查综述论文讨论了多种真实性发现方法，它们的可靠性评估和正在应用的多个应用领域，并提出一些未来方向的探讨。

    May, 2015

  • 经验贝叶斯方法用于真相发现问题

    本文提出了一种基于经验贝叶斯估计（EBE）的真相发现算法，该算法不仅考虑了各方数据提供者的能力估计，还引入了 EBE 作为第二步骤以进一步减少预期误差。

    Jun, 2022

  • 真相发现算法中的公平性和偏见：实验分析

    本文通过对两个人群标签数据集的系统研究发现，群体中存在个体提供有偏差的结果，采用简单的真值发现方法是次优的。同时，流行的真值发现算法并非万能，传统的公平性实现方法和纠正标签偏差的方法在这种情况下也无效。因此本文恳请设计新颖的具有偏差意识的真值发现算法来缓和这些问题。

    Apr, 2023

  • 大规模真相推断：Bayesian 模型用于裁决高度冗余的众包注释

    本文提出了一种基于贝叶斯图形模型的技术，用于有效地处理高度冗余注释数据，相比于多数真实推断模型，我们的方法得出了更优质的结果。

    Feb, 2019

  • 交互式数据分析中的虚假发现预防是困难的

    论文表明，在自适应环境下，维护统计查询的计算有效性和正确性是计算难度的源泉，这对现今大型协作研究环境中防止错误发现的挑战具有本质性质。

    Aug, 2014

  • 无监督观点聚合 —— 统计角度

    本论文探讨了一种统计方法，利用专家的意见而无需真实的事实来推断每位专家的能力，并利用众人之智的原理测量每位专家的能力，进而提出一种完全无监督的朴素贝叶斯分类器的技术，并证明该技术在大类问题中是渐进最优的。同时，将该方法应用于大规模意见聚合、基于有限意见的决策制定。

    Aug, 2023

  • 众包标注群体真相的经验方法学

    本篇文章提出了使用 CrowdTruth 衡量指标来有效地收集多领域多任务的 ground truth 数据，比传统的投票方式更具优势，并研究了人数增加对标注质量的影响。

    Sep, 2018

  • 一种可证明改进的众包算法，适用于难和易任务

    本文提出了一种基于谱方法的标签聚类算法，从而在众包任务中提高 Dawid-Skene 模型推理个体正确标签的准确度。

    Feb, 2023

  • 一种极小极大算法用于群体外包

    本文提出一种名为 Triangular Estimation（TE）的算法用于估计众包工作者的可靠性，并得出了一个新的下限，该下限适用于任何估计程序。通过对合成和现实数据集的性能评估，证明 TE 的最小最大近似误差具有优越性。

    Jun, 2016

  • 众包排名中的假发现率控制与标注者统计质量评估

    本文中，我们开发了一个统计框架来建模和检测标注者的位置偏差，并采用新型 knockoff 过滤器和基于反比例尺度动力学的算法来控制虚警率，为定量研究众包数据中的标注者异常行为提供了一种有用的工具。

    May, 2016