ACLMay, 2024

关于数据标注的高效和统计质量估计

PDF
TL;DR使用置信区间寻找估计注释错误率所需的最小样本量，然后提出应用接受抽样作为错误率估计的一种替代方法，展示接受抽样可以减少最多 50% 的所需样本量，同时提供相同的统计保证。
发现论文，激发创造
  • 自然语言理解中样本量确定的重新审视

    通过使用少量的训练样本来预测最大的可实现模型性能，以预测数据的质量和样本大小。

    Jul, 2023

  • 高效知识图谱准确率评估

    通过使用簇抽样、加权和两阶段抽样，以及分层的抽样设计，提出了一种有效的抽样和评估框架，该框架旨在在最小化人力成本的同时提供具有强大统计保证的高质量的准确性评估。

    Jul, 2019

  • 有限标记资源下的分类器风险评估

    该研究提出了基于分层取样的策略来选取测试集的子集进行标注，以尽可能准确地估计分类器的性能，相对于简单随机取样，这些策略可以显著减少分类器精度估计中方差的误差，并且在有限标注资源下比随机取样需要更少的样本来估计分类器的准确性，有些情况下减少的样本数量高达 60％。

    Jul, 2016

  • 数量与质量：探究样本量与标签可靠性之间的权衡

    研究在概率领域学习中标签质量的优化问题，提出了在有限训练预算下，是否应优先使用重采样策略提高训练数据的标签质量还是扩大数据集；并证明在人工标注的过程中这一策略可以取得更好的分类器性能，在此基础上提出了两种不同的验证方案。

    Apr, 2022

  • 机器翻译人类评估的有效性改进探讨

    本研究探讨了一种简单的降低标注成本的方法，即采用分层抽样和控制变量等技术，结合文档成员身份信息和自动评估指标，从而在固定标注预算下获得更高的准确性。在测试集上，相比于纯随机抽样，平均误差降低了高达 20%。该技术易于实现且适用于类似结构的问题。

    Apr, 2022

  • 关于主动学习图像分割中的不确定度估计

    本文探讨了在数据驱动主动学习框架下，针对医学图像分割任务进行不确定性校准的方法，研究了不同的不确定性估计方法和采集策略，并证明选定区域标注可以显著减少需要人工标注的像素数量。

    Jul, 2020

  • 通过任意模型评估语义分割数据的标签质量和误差

    研究了用于自动检测语义分割数据集中标注错误的算法，其中应用了 7 种不同的质量评分方法，最有效的方法是使用准确率和召回率的模型预测概率的软最小值来识别标注错误的图像。

    Jul, 2023

  • 野外数据集标注质量管理分析

    文章调研了自然语言数据集创作的质量管理实践，分析了 591 个科学出版物并发现了其普遍存在的错误和 30% 的工作只达到了次级水平，尤其在使用标注错误率和计算注释错误率方面存在常见错误。

    Jul, 2023

  • 评估人群的可靠性

    本文介绍了一种用于生成工人错误率估计的置信区间的技术，以更好地评估工人质量。实验结果表明该技术在真实数据集中能生成正确的置信区间，并可用于清退表现不佳的工人，并为答案的准确性提供置信区间。

    Nov, 2014

  • 低样本验证：主动重要性抽样用于估计稀少类别的分类器性能

    我们提出了一种统计验证算法，用于准确估计二元分类器的 F 得分，特别适用于罕见类别，并且证明该算法可以使用较少的标签进行验证。

    Sep, 2021