Jun, 2022

CrowdWorkSheets: 基于个人和集体身份的众包数据集注释

PDF
TL;DR本文调查了围绕众包数据集注释的伦理问题，深入探讨了注解者的背景对其注释的影响以及注解者与众包平台的关系所带来的影响，并提出了一种透明化关键决策点的数据注释框架 ——CrowdWorkSheets。
human annotated dataethical considerationscrowdsourced dataset annotationannotator experiencescrowdworksheets
发现论文，激发创造
  • 谁的真实？考虑个体和集合身份的数据集标注

    本文调查了众包数据集标注的伦理考虑，提出了 ML 数据管道各阶段的一系列推荐和考虑因素。

    Dec, 2021

  • 我们在模拟任务还是模拟标注者？—— 自然语言理解数据集中标注者倾向的研究

    本文通过实验展示了人群智力数据集在自然语言理解中的存在问题和缺陷，建议在数据集创建过程中监控注释者的偏见，测试集注释者应该与训练集注释者无交集。

    Aug, 2019

  • 关于发布数据集中的标注者层次标签和信息

    本文探讨了通过众包方式进行 NLP 数据集标注时，标注者之间的社会文化背景和个体经验差异可能导致的标签汇总引入了代表性偏差，并提高了数据集透明度和实用性的建议。

    Oct, 2021

  • 解决机器学习众包工人的人类主体地位问题

    该论文研究了众包的研究，重点关注了众包研究的合适指定和机器学习研究对于研究监督所带来的独特挑战。该论文发现在确定众包工作是否属于人类研究对象方面存在两个挑战，同时呼吁实施相关政策以解决这些问题。

    Jun, 2022

  • 主观数据的主观众群分歧：通过群体级学习揭示有意义的众人观点

    通过使用语言特征和标签分布，我们介绍了一种无监督学习方法 CrowdOpinion，用于将类似项目汇集为更大的标签分布样本，其中涉及人工智能系统的公平性和人工注释者不一致问题的解决。

    Jul, 2023

  • 计算机视觉中的众包

    本篇论文调查了计算机视觉中使用众包方法进行数据标注的类型，并讨论了一些有效的数据采集界面和工作流设计决策，以及智能选取最重要的数据实例进行注释的策略，最后探讨了众包在计算机视觉领域的未来发展。

    Nov, 2016

  • 人工智能数据丰富化的伦理模棱两可性：评估研究伦理规范和实践中的差距

    本研究探讨人工智能领域的伦理规范问题，发现虽然现有的一些 AI 会议和出版物已经开始确立人类数据收集的协议和规范，但是这些规范往往被作者忽视，相比之下，在心理学领域进行与众包工人的合作时，生活方式和其他信息的道德审查披露要频繁得多。

    Jun, 2023

  • 众包中注释者组偏见探究

    这篇研究论文介绍了一种新的基于概率图形框架的群体偏差建模方法，以及用于捕捉同一人群内标注员偏倚影响标注结果的训练算法，该方法在实验证明了其在标签汇聚和模型学习方面的有效性。

    Oct, 2021

  • 用于在线部署适用的真实推断算法验证数据集

    通过收集真实世界众包平台上的大量数据样本，本文分析了数据集的特征并评估了几种代表性真实标签推断算法的有效性，为跟踪不同类型任务下工作者的能力随时间变化以及增强在线真实标签推断提供了启示。

    Mar, 2024

  • 众包标注群体真相的经验方法学

    本篇文章提出了使用 CrowdTruth 衡量指标来有效地收集多领域多任务的 ground truth 数据，比传统的投票方式更具优势，并研究了人数增加对标注质量的影响。

    Sep, 2018