本文探讨在多任务学习设置中，使用主观评估作为语言生成模型训练的一部分，并使用群众创作对话语料库对六种不同的语言生成模型进行微调。评估显示，多任务学习的模型生成的话语在主观上评分最高，且在推动对话发展、无冒犯性等方面得分最高。因此，将来可以研究将主观人类评估纳入语言生成模型训练中，从而在开发过程中更好地与人类用户进行交互。

Apr, 2021

该研究探讨了多个注释者可用的监督 / 半监督学习场景下识别对抗性或不可靠注释者的问题。

May, 2016

本篇文章提出了使用 CrowdTruth 衡量指标来有效地收集多领域多任务的 ground truth 数据，比传统的投票方式更具优势，并研究了人数增加对标注质量的影响。

Sep, 2018

通过在线学习算法，我们提出了一种自动优化的方法来解决基于偏好的主观评估在众包环境中大规模测试时的配对组合选择和评估数量的分配问题。实验结果表明，我们的方法成功地通过减少配对组合数量并为每个配对分配最佳的评估数量来优化测试，同时不损害评估准确性和预算分配的浪费。

Mar, 2024

利用非专业众包工作者进行复杂的学生数据评估的实验表明，使用比较判断可显着提高两项任务的评定间判定一致性。这一结果符合教育评价领域的比较判断优势的已有文献，也符合人工智能研究中的趋势，即在处理非专业众包工作者的模型输出时，比较判断成为提供人类反馈的首选方法。然而，据我们所知，这些结果是在证明使用比较判断和众包工作者评估教育数据的组合效果方面的新颖且重要的成果。

May, 2023

使用 CrowdTruth 方法通过众包获得医疗关系提取的注释数据集，并通过建模歧义性提高数据质量并减少成本，展示了在人类和机器性能方面均考虑歧义性时的加权测量精度、召回率和 F 度量的优势。

Jan, 2017

本研究提出一种新的信息引出机制，可用于多任务时具有内生能力的代理人的二进制信息引出，其奖励代理人同意 “参考” 评估者的任务，但惩罚盲目同意，以鼓励代理人付出更多的努力，以便获取奖励。

Mar, 2013

本文提出了 ReSEval，这是一种开源框架，可从 Python 直接快速部署 crowdsourced 主观评估，以方便研究人员运行主观评估以及通过共享配置文件和音频、图像、文本或视频文件来重现彼此的主观评估。

Mar, 2022

本文从数据、模型、学习三个维度，全面回顾了 13 年来 AI 社区在众包学习领域的进展，着重提出了每个维度的一些有前途的蓝图，并探讨了过去研究的经验教训，旨在为新研究者提供指引，鼓励他们做出新的贡献。

Jun, 2022

本篇论文调查了计算机视觉中使用众包方法进行数据标注的类型，并讨论了一些有效的数据采集界面和工作流设计决策，以及智能选取最重要的数据实例进行注释的策略，最后探讨了众包在计算机视觉领域的未来发展。

Nov, 2016