为了解决互联网教学视频缺乏任务层面经验指导的问题，提出 GUIDE 数据集，其中包含 3.5K 个相关任务的 560 个指南，用于评估模型的理解能力，包括步骤字幕生成、指南摘要和指南引导字幕生成等三个子任务。

Jun, 2024

本研究提出使用描述性和规范性两种策略来标注数据，探讨了两种策略的优劣，并且借助仇恨言论数据的标注实验来说明两种策略的不同。

Dec, 2021

本文探讨机器学习中的数据注释实践，包括数据注释的定义和其对标签的意义进行赋予的过程。作者对注释公司进行了田野调查，分析了结构、权力关系和自然化规定是如何影响数据的解释的。结果表明，在注释工作中，标签通常是从其他具有更高权力、其他利益、价值和优先事项的人员那里产生的。这个发现指出，数据的解释过程涉及到多个人员和社会的权力问题。

Jul, 2020

我们引入了一个新的任务，标签指令生成，旨在解决缺少公开可用的标注说明的问题，我们介绍了一个无需模型训练的框架，并使用一个新创建的快速检索系统，利用大型预训练视觉和语言模型，生成数据集类别的多个不同的视觉和文本表示，我们优化后的标注指令集在 5 个折叠中比 NuImages 高出 7.06 mAP，比 COCO 高出 12.9 mAP。

Jun, 2023

探讨了在创造和验证视觉和语言注释数据集时所面临的困难和问题，指出现有数据集反映了数据选择和注释过程中出现的问题。

Jul, 2016

数据标注是机器学习和人工智能的必要条件。最近的实证工作开始强调评分者的多样性对公平性和模型性能的重要性，并开始研究数据标注工作者的工作条件、标注人主观性对标签的影响以及标注工作的潜在心理危害。本文概述了数据标注的关键历史，并结合对上世纪 70 年代计算机实验心理学批判的相似性，质疑这些实验是否能够将结果推广到实验室以外的环境。我们指出心理学过于依赖西方、受过教育、工业化、富裕和民主社会（WEIRD）的参与者。然而，许多数据标注平台工作者并不来自 WEIRD 国家，而是来自全球南方国家。非 WEIRD 的标注人通过指导和任务受到 WEIRD 国家的社会分类和分类的强加，并通过这些分类对数据进行使用，在 WEIRD 国家中用于训练或评估人工智能模型。我们综合了几个最近的研究线索的证据，认为数据标注是一种自动化的社会分类，可能会使过时和静态的社会分类得到巩固，而这些分类在现实中是动态和变化的。我们提出了一个框架，以理解数据标注的全球社会条件与数据标注工作的主观现象之间的相互作用。

Feb, 2024

本研究探讨了近年来 NLU 领域中提高模型性能所依赖的标准化测试数据集的 inherent 问题： crowdsourcing 具有的 instruction bias（人工标注者所遵循的指示信息），该倾向导致被标注的数据集存在过多类似的样本，从而高度统计偏向性，使得模型无法在实际应用场景中良好泛化，进而提出一系列解决方案。

May, 2022

这篇研究论文介绍了文本标注任务的方法，并提供了理论概述和实践建议。主要涵盖技术方面的内容，但也涉及到商业、伦理和法规问题。重点强调易读性和简明性，而不是完整性和科学严谨性。对标注经验和机器学习知识有帮助，但不是必需的。这份文档可以作为团队领导、项目经理、IT 架构师、软件开发人员和机器学习工程师等各种职业的入门书或参考书。

Oct, 2023

通过新的基于模型的方法，我们提出了一种在多任务场景中为每个文本选择逐个注释的任务的方式，从而最大程度地减少注释数量，并且几乎不损失知识，同时还强调了根据注释任务的主观性收集多样化数据以有效训练模型的需求，并通过在单任务和多任务场景中评估模型来衡量主观任务之间的关系，此外，对于某些数据集，仅依靠我们模型预测的标签进行训练，可作为自监督学习规范化技术，提高任务选择的效率。

Dec, 2023

在自然语言处理中，获取用于监督学习的带注释数据是一个重要挑战。本文提出了一种自动和明智的数据选择架构，用于建立用于少样本学习的小型数据集，以解决众包标注的问题。

Jan, 2024