Nov, 2023

将工人视角融入 MTurk NLP 标注实践

PDF
TL;DR通过批判性文献综述和 MTurk 工作者的调查，我们发现当前在亚马逊众包平台中进行自然语言处理数据收集的方法在考虑工作者的角度上存在问题，因此我们提出了关于公平支付、工作者隐私、数据质量和工作者激励等方面的最佳实践，以更好地尊重工作者权益并提高数据质量。
发现论文，激发创造
  • NLP 众包的伦理学意义超越公平薪酬

    该论文讨论了众包工人在 NLP 研究中的伦理问题，提出了应考虑 Belmont 报告中的三个伦理原则评估这些风险，并澄清了有关 Institutional Review Board（IRB）申请的一些常见误解。

    Apr, 2021

  • MTurk 上寻找资格合适的工作者进行摘要分析

    通过一个由三个步骤组成的资格认证系统，成功筛选优质的 MTurk 工作者来改善众包平台获取高质量人类标注的困难性，并优化人力资源的使用，本文探讨了此方法的有效性，可作为处理其他繁琐的标注任务的基础。

    Dec, 2022

  • 使用 MTurk 评估开放式文本生成的风险

    本文对目前 45 篇与开放式文本生成相关的论文进行了调查，并发现它们中绝大多数未报告有关 Amazon Mechanical Turk 任务的关键细节，从而影响了可重复性。本文还进行了故事评估实验，发现即使使用严格的资格筛选器，AMT 工作者（与教师不同）也无法区分模型生成的文本和人类生成的参考文本。研究表明，当 AMT 工人同时展示模型生成的输出和人类生成的参考文本时，工人的判断能力得到了提高，并为评估过程提供了深刻的洞察。

    Sep, 2021

  • 深入未来：理解长期众包工作者质量

    本研究利用大规模的纵向数据集，研究了众包工作者在从事长时间的重复任务时的行为，发现他们的工作质量极其稳定，建立了一种预测工作者长期质量的方法。

    Sep, 2016

  • 自然语言处理中偏差和公平性调查

    本次调查分析了 NLP 模型的社会影响，探讨了 NLP 算法中存在性别、种族和文化偏见的根源，定义了公平性，并说明了 NLP 各个子领域如何减少系统存在的偏见，最终讨论了未来研究如何消除 NLP 算法中的有害偏见。

    Mar, 2022

  • 我们在模拟任务还是模拟标注者？—— 自然语言理解数据集中标注者倾向的研究

    本文通过实验展示了人群智力数据集在自然语言理解中的存在问题和缺陷，建议在数据集创建过程中监控注释者的偏见，测试集注释者应该与训练集注释者无交集。

    Aug, 2019

  • 众包中定量化和避免不公平的资格认证劳动

    研究对众包工人支付等同于美国联邦最低工资的工资进行了广泛探讨。同时，收集高质量标注的研究建议使用需要工人先完成一定数量任务的资格考试。本文通过分析工人讨论和研究者的指导，发现工人需要完成约 2.25 个月的低报酬任务才能获得更好的报酬。通过对两个 NLP 任务进行资格考试和工作质量之间的相关性研究，本研究发现可以在减轻工人负担的前提下收集高质量的数据。

    May, 2021

  • 自然语言处理和大型语言模型的公平认证

    发展公平认证以确保自然语言处理系统的算法公正性和对少数群体的非歧视性。

    Jan, 2024

  • 调查（不）平衡和计算机密集型自然语言处理研究的问题

    本文通过一项针对 312 名 NLP 群体成员的调查，对当前自然语言处理中在环境影响、公平性等三个方面所引起问题的现状与成因进行了分析，并提出了一些缓解措施。

    Jun, 2023

  • 如何制定有效的群众外包协议以解决困难的自然语言理解（NLU）数据收集任务？

    本文以多项选择问题回答为测试基础，运用随机实验、数据收集协议及专家评估对比效果，发现训练众包工作者并采用迭代数据收集、传递回馈、基于专家判断进行筛选更为有效，但将普通众包判断及回馈替换为专家判断及回馈则效果不佳，最终观察到具有专家评估的迭代协议数据等级高于基线协议数据，并且人 - 模型差距大约是基准协议数据的两倍。

    Jun, 2021