利用非专业众包工作者进行复杂的学生数据评估的实验表明，使用比较判断可显着提高两项任务的评定间判定一致性。这一结果符合教育评价领域的比较判断优势的已有文献，也符合人工智能研究中的趋势，即在处理非专业众包工作者的模型输出时，比较判断成为提供人类反馈的首选方法。然而，据我们所知，这些结果是在证明使用比较判断和众包工作者评估教育数据的组合效果方面的新颖且重要的成果。

May, 2023

本文研究了在线辅导平台上对话的困扰个体的情绪估计的主观评估任务，探讨了聚合评估者选择的策略，展示了一个简单的投票共识与优化聚合方法在这个任务中同样有效，并设计了一种机器学习算法来执行相同的任务。有趣的是，我们观察到了一个没有明确建模评估者主观性的机器学习算法，在评估最主要的情绪时与人类评估一样可靠。

Jun, 2019

本研究提出一种新的信息引出机制，可用于多任务时具有内生能力的代理人的二进制信息引出，其奖励代理人同意 “参考” 评估者的任务，但惩罚盲目同意，以鼓励代理人付出更多的努力，以便获取奖励。

Mar, 2013

通过 Wikipedia 生成词汇测试，评估参与者的母语能力，可以在不同语言文化背景下了解文化、认知和语言的视角，通过六项行为实验测试结果表明，这个测试可以区分母语相近的语言，测试结果与现有测试成绩和个人报告结果有很强的相关性。

Feb, 2023

本文提出了基于图的挖掘方法来有效计算可靠众包工人的 “专家核心”，并提出了一种将 “专家核心” 与现有答案聚合算法结合的方法以及一种利用 “专家核心” 提取算法所提供的与工人可靠性相关的信息的算法，在人工合成和真实数据集上的计算实验表明，我们提出的答案聚合算法优于现有算法。

May, 2019

利用众智的力量，通过提出包括单词选择问题在内的 “情感注释” 问题，快速且廉价地生成了一个大型、高质量的单词 - 情感和单词极性关联词典，并通过实验证明，询问单词是否与情感相关比询问单词是否会唤起情感，获得更高的注释者互动一致性。

Aug, 2013

本文探讨在多任务学习设置中，使用主观评估作为语言生成模型训练的一部分，并使用群众创作对话语料库对六种不同的语言生成模型进行微调。评估显示，多任务学习的模型生成的话语在主观上评分最高，且在推动对话发展、无冒犯性等方面得分最高。因此，将来可以研究将主观人类评估纳入语言生成模型训练中，从而在开发过程中更好地与人类用户进行交互。

Apr, 2021

本研究使用自动排名法大幅减少专家评估的数量，并在英语中测试了该方法对具有较小样本的具体 / 抽象单词字典自动生成的可行性和准确性，结果表明构建的字典质量和专家手动构建的字典相当且预测和专家排名之间的相关性高于现有方法。

Jun, 2022

本文介绍使用 Best-Worst Scaling 技术获取三个不同领域（一般英语，英语 Twitter 和阿拉伯语 Twitter）中单词和短语的情感关联分数，并确定了一种语言本土人民可以感知的情感关联最小差异。

Dec, 2017

本研究探讨了如何使用极其嘈杂的众包注释构建一个低成本的数据集，并通过注释器适配器模型和相关混合策略，提高了众包建模的准确性，结果表明众包在观点表达识别方面有很高的应用前景。

Apr, 2022