ACLMay, 2021

众包中定量化和避免不公平的资格认证劳动

PDF
TL;DR研究对众包工人支付等同于美国联邦最低工资的工资进行了广泛探讨。同时，收集高质量标注的研究建议使用需要工人先完成一定数量任务的资格考试。本文通过分析工人讨论和研究者的指导，发现工人需要完成约 2.25 个月的低报酬任务才能获得更好的报酬。通过对两个 NLP 任务进行资格考试和工作质量之间的相关性研究，本研究发现可以在减轻工人负担的前提下收集高质量的数据。
发现论文，激发创造
  • 深入未来：理解长期众包工作者质量

    本研究利用大规模的纵向数据集，研究了众包工作者在从事长时间的重复任务时的行为，发现他们的工作质量极其稳定，建立了一种预测工作者长期质量的方法。

    Sep, 2016

  • MTurk 上寻找资格合适的工作者进行摘要分析

    通过一个由三个步骤组成的资格认证系统，成功筛选优质的 MTurk 工作者来改善众包平台获取高质量人类标注的困难性，并优化人力资源的使用，本文探讨了此方法的有效性，可作为处理其他繁琐的标注任务的基础。

    Dec, 2022

  • 有偿众包劳动经济学

    本文介绍了一种参与者对众包项目提供劳动的经济模型，并提出了一种估计工人保留工资的新方法，然后将此模型用于 Amazon’s Mechanical Turk（AMT）的一组工人的研究中，该组工人的保留工资近似为对数正态分布，中位工资为每小时 1.38 美元，并在实验测试中解释了众包工人如何对激励做出有理反应。

    Jan, 2010

  • NLP 众包的伦理学意义超越公平薪酬

    该论文讨论了众包工人在 NLP 研究中的伦理问题，提出了应考虑 Belmont 报告中的三个伦理原则评估这些风险，并澄清了有关 Institutional Review Board（IRB）申请的一些常见误解。

    Apr, 2021

  • 将工人视角融入 MTurk NLP 标注实践

    通过批判性文献综述和 MTurk 工作者的调查，我们发现当前在亚马逊众包平台中进行自然语言处理数据收集的方法在考虑工作者的角度上存在问题，因此我们提出了关于公平支付、工作者隐私、数据质量和工作者激励等方面的最佳实践，以更好地尊重工作者权益并提高数据质量。

    Nov, 2023

  • 廉价而更好：众包选择好工作者

    本文研究如何在预算限制下，选择优质工人子集以达到最大准确性，并通过组合优化算法解决此问题，证明该算法能够有效地选择少数高质量工人，并在模拟和实际数据集上表现良好。

    Feb, 2015

  • 基于数据的亚马逊机械土耳其雇员收入分析

    对 Amazon Mechanical Turk 进行的 2,676 个工人 3.8 百万个任务的研究表明，线上众包工作的收入极低，其中只有 4％的工人的平均每小时工资超过 7.25 美元，虽然平均请求者支付超过 11 美元 /h。同时，研究者还发现了一些特征，可以实现更高的小时工资，这为未来平台的设计和工人工具提供了信息。

    Dec, 2017

  • 众包中的批准投票和激励

    本文介绍了一种利用批准投票和合适的激励机制来提高众包数据标注质量的方法，并通过理论与实证的研究验证了该方法的优越性。

    Feb, 2015

  • 评估人群的可靠性

    本文介绍了一种用于生成工人错误率估计的置信区间的技术，以更好地评估工人质量。实验结果表明该技术在真实数据集中能生成正确的置信区间，并可用于清退表现不佳的工人，并为答案的准确性提供置信区间。

    Nov, 2014

  • 从含有噪声的带有单标签数据中学习

    提出一种新的算法来联合建模标签和工作者质量，从带有噪声的众包数据中学习，可优化有限的标注资源，解决如何从噪声工作者中学习以及如何分配标注预算来最大化分类器性能等问题。

    Dec, 2017