通过批判性文献综述和 MTurk 工作者的调查，我们发现当前在亚马逊众包平台中进行自然语言处理数据收集的方法在考虑工作者的角度上存在问题，因此我们提出了关于公平支付、工作者隐私、数据质量和工作者激励等方面的最佳实践，以更好地尊重工作者权益并提高数据质量。

Nov, 2023

研究对众包工人支付等同于美国联邦最低工资的工资进行了广泛探讨。同时，收集高质量标注的研究建议使用需要工人先完成一定数量任务的资格考试。本文通过分析工人讨论和研究者的指导，发现工人需要完成约 2.25 个月的低报酬任务才能获得更好的报酬。通过对两个 NLP 任务进行资格考试和工作质量之间的相关性研究，本研究发现可以在减轻工人负担的前提下收集高质量的数据。

May, 2021

本研究利用大规模的纵向数据集，研究了众包工作者在从事长时间的重复任务时的行为，发现他们的工作质量极其稳定，建立了一种预测工作者长期质量的方法。

Sep, 2016

本文对目前 45 篇与开放式文本生成相关的论文进行了调查，并发现它们中绝大多数未报告有关 Amazon Mechanical Turk 任务的关键细节，从而影响了可重复性。本文还进行了故事评估实验，发现即使使用严格的资格筛选器，AMT 工作者（与教师不同）也无法区分模型生成的文本和人类生成的参考文本。研究表明，当 AMT 工人同时展示模型生成的输出和人类生成的参考文本时，工人的判断能力得到了提高，并为评估过程提供了深刻的洞察。

Sep, 2021

通过研究发现，微任务众包平台能够有效地捕捉 PubMed 文摘中的疾病提及，并通过专家投票方法将多个工作者的注释合并，生成 BioNLP 领域中完全标注的语料库。

Aug, 2014

本文研究 LLMs 对众包工人的影响，通过对在 Amazon Mechanical Turk 上运行的一个摘要任务，发现 33-46% 的众包工人使用了 LLMs，因此需要找到新的方法确保数据来源于人类本身。

Jun, 2023

对 Amazon Mechanical Turk 进行的 2,676 个工人 3.8 百万个任务的研究表明，线上众包工作的收入极低，其中只有 4％的工人的平均每小时工资超过 7.25 美元，虽然平均请求者支付超过 11 美元 /h。同时，研究者还发现了一些特征，可以实现更高的小时工资，这为未来平台的设计和工人工具提供了信息。

Dec, 2017

本研究探讨了一种简单的降低标注成本的方法，即采用分层抽样和控制变量等技术，结合文档成员身份信息和自动评估指标，从而在固定标注预算下获得更高的准确性。在测试集上，相比于纯随机抽样，平均误差降低了高达 20%。该技术易于实现且适用于类似结构的问题。

Apr, 2022

本文通过实验展示了人群智力数据集在自然语言理解中的存在问题和缺陷，建议在数据集创建过程中监控注释者的偏见，测试集注释者应该与训练集注释者无交集。

Aug, 2019

对 GPT-4 和 MTurk 管道进行了比较，结果显示，尽管在最佳实践的情况下，MTurk 管道的最高准确率为 81.5％，而 GPT-4 达到了 83.6％。有趣的是，当结合 GPT-4 的标签与通过高级工人界面收集的众包标签进行聚合时，8 种算法中有 2 种达到更高的准确率（87.5％，87.0％）。进一步的分析表明，当众包和 GPT-4 的标注优势互补时，聚合它们能够增加标注准确率。

Feb, 2024