本文研究了在线辅导平台上对话的困扰个体的情绪估计的主观评估任务，探讨了聚合评估者选择的策略，展示了一个简单的投票共识与优化聚合方法在这个任务中同样有效，并设计了一种机器学习算法来执行相同的任务。有趣的是，我们观察到了一个没有明确建模评估者主观性的机器学习算法，在评估最主要的情绪时与人类评估一样可靠。

Jun, 2019

本论文考虑如何设计一种激励机制，以在固有的逆向选择环境下，利用纯粹的协作或对抗以及报告代价获得真实从众意见汇报。

Jan, 2014

本文研究采用输出一致性机制从工作者群体中引发努力，并从广义上考虑工作者的努力成本，导出了一致性机制的最优奖励级别，包括了初始知识和学习成本分布的情况。

Apr, 2016

本文提出了一种名为 MONITOR 的方法，用来解决众包平台上不同质量的数据聚合问题。该方法通过估计贡献者的资质和行为来确定其贡献者资料，并利用数据信任理论来考虑其潜在不完美的特点，从而更好地聚合贡献者的数据。在真实数据上的实验表明，MONITOR 方法大大提高了聚合后的数据准确性。本文的贡献在于首次提出了一种模型，既考虑了贡献者的资质，也考虑了其行为，用于估计其贡献者资料。其次，还提出了一种根据估计的资料弱化和聚合结果的答案的方法。

Mar, 2023

本文考虑众包任务分配中的可靠性问题，提出了一种基于置信传播和低秩矩阵逼近的算法来决定如何分配任务，并从工人的答案中推断出正确答案。比较了不同算法的表现，发现基于者非自适应的算法是最优的。此外，还强调了建立可靠的工人信誉系统对于完全运用自适应设计的潜力至关重要。

Oct, 2011

利用非专业众包工作者进行复杂的学生数据评估的实验表明，使用比较判断可显着提高两项任务的评定间判定一致性。这一结果符合教育评价领域的比较判断优势的已有文献，也符合人工智能研究中的趋势，即在处理非专业众包工作者的模型输出时，比较判断成为提供人类反馈的首选方法。然而，据我们所知，这些结果是在证明使用比较判断和众包工作者评估教育数据的组合效果方面的新颖且重要的成果。

May, 2023

本篇文章提出了使用 CrowdTruth 衡量指标来有效地收集多领域多任务的 ground truth 数据，比传统的投票方式更具优势，并研究了人数增加对标注质量的影响。

Sep, 2018

提出一种使用预测市场机制，通过激励专家之间直接信息交流的方式来解决科学或医学领域问题的方法。

Apr, 2022

本文介绍了一种利用批准投票和合适的激励机制来提高众包数据标注质量的方法，并通过理论与实证的研究验证了该方法的优越性。

Feb, 2015

本文提出了一种基于贝叶斯图形模型的技术，用于有效地处理高度冗余注释数据，相比于多数真实推断模型，我们的方法得出了更优质的结果。

Feb, 2019