May, 2024

数据分配的选择性标注：这些数据应该交给专家进行标注，而不是模型

HTML
PDF
TL;DR为解决数据标注预算限制的问题，我们提出了一种名为SANT的选择性标注框架，通过错误感知的分类和双重加权机制，有效利用专家标注和模型标注的数据，从而提高了标注质量。
发现论文，激发创造
  • 半监督学习中建模多个标注者的专业知识

    本文提出了一种概率半监督模型和算法，可以从多个注释者的标记数据中学习，并利用未标记数据，将注释者模型用于估计真实标记和注释者变量专业知识。对各种情况进行了数值比较，并表明了该方法优于不使用未标记数据的多注释者方法及不使用多标记者信息的方法。

    Mar, 2012

  • 不要责怪标注者：偏见已经开始于标注指导

    本研究探讨了近年来 NLU 领域中提高模型性能所依赖的标准化测试数据集的 inherent 问题： crowdsourcing 具有的 instruction bias（人工标注者所遵循的指示信息），该倾向导致被标注的数据集存在过多类似的样本，从而高度统计偏向性，使得模型无法在实际应用场景中良好泛化，进而提出一系列解决方案。

    May, 2022

  • 有选择性的标注使语言模型更好的少样本学习器

    本文提出了一种基于在上下文学习的策略，通过选择少量有代表性的例子来进行标注，进而为新的自然语言任务创建数据集，并证明了此方法在不同场景下都具有良好的效果。

    Sep, 2022

  • 有限预算注释任务的自适应策略：完整或弱标注？

    本论文提出了一种通过模拟估计分割和分类注释比例以确定分割数据集注释策略的方法，证明了该方法在多个预算和数据集上表现接近最佳。

    Mar, 2023

  • 注释填充以个性化预测: 关于分布动态和模型预测的初步研究

    为了克服通过众包进行数据注释所需的时间和成本，我们提出使用填充方法来还原所有标注者对所有示例的观点，从而创建一个不排除任何注释者观点的数据集。

    May, 2023

  • 野外数据集标注质量管理分析

    文章调研了自然语言数据集创作的质量管理实践，分析了591个科学出版物并发现了其普遍存在的错误和30%的工作只达到了次级水平，尤其在使用标注错误率和计算注释错误率方面存在常见错误。

    Jul, 2023

  • 标注敏感性：训练数据采集方法对模型性能的影响

    通过实验条件下的注释仪器设计和模型性能评估，研究表明注释仪器设计选择对模型训练和预测结果产生了显著影响，强调了注释仪器在机器学习文献中所占重要角色，呼吁进一步研究注释仪器的影响和指导最佳实践的开发。

    Nov, 2023

  • 从随机到有知识的数据选择：基于多样性的方法优化人工标注和少样本学习

    在自然语言处理中，获取用于监督学习的带注释数据是一个重要挑战。本文提出了一种自动和明智的数据选择架构，用于建立用于少样本学习的小型数据集，以解决众包标注的问题。

    Jan, 2024

  • 数据标注的大型语言模型调查

    数据标注是提高机器学习模型效果的标记或标签化原始数据的过程，使用大型语言模型（LLMs）可以革新和自动化数据标注过程。本研究着重于LLM在数据标注中的特定用途，探讨了LLM基于数据标注、评估LLM生成的标注以及使用LLM生成的标注进行学习的方法。此外，还提供了LLM在数据标注中的方法学分类、包含LLM生成标注的模型的学习策略综述，并详细讨论了使用LLM进行数据标注所面临的主要挑战和限制。本文旨在为研究人员和从业者指导利用最新的LLMs进行数据标注，推动该关键领域的未来发展。

    Feb, 2024

  • 关于数据标注的高效和统计质量估计

    使用置信区间寻找估计注释错误率所需的最小样本量，然后提出应用接受抽样作为错误率估计的一种替代方法，展示接受抽样可以减少最多50%的所需样本量，同时提供相同的统计保证。

    May, 2024