AAAIDec, 2019

使用 Krippendorff Alpha 评估注释数据的质量，用于计算机视觉应用

PDF
TL;DR本文旨在研究深度学习模型中标注数据的影响因素，以及如何通过监测数据标注质量来提高算法精度和准确性。通过多个数据标注实验，作者发现标注过程、训练数据和评估数据等因素是确保 AI 系统可信度的基本要素。
发现论文，激发创造
  • 在复杂结构化，多对象和自由文本注释任务中通常测量标注者的一致性

    本研究探讨了复杂注释任务的 IAA 测量设计与评估，评估跨越了图像边界框、文本序列标记、排名列表、自由文本翻译、数值向量和语法树等 7 个多样化任务，并提出了两种新颖的 IAA 测量方法，显示它们在任务和注释距离函数之间产生了更一致的 IAA 测量。

    Dec, 2022

  • 野外数据集标注质量管理分析

    文章调研了自然语言数据集创作的质量管理实践，分析了 591 个科学出版物并发现了其普遍存在的错误和 30% 的工作只达到了次级水平，尤其在使用标注错误率和计算注释错误率方面存在常见错误。

    Jul, 2023

  • 通过任意模型评估语义分割数据的标签质量和误差

    研究了用于自动检测语义分割数据集中标注错误的算法，其中应用了 7 种不同的质量评分方法，最有效的方法是使用准确率和召回率的模型预测概率的软最小值来识别标注错误的图像。

    Jul, 2023

  • 大规模图像分类数据集高效标注的良好实践

    本文研究了一种高效的策略收集多类别图像集的分类标签，使用自监督学习技术并将标注问题视为半监督学习问题，并提出了有效的标注指南，用此方案对 ImageNet100 图像集进行模拟实验，结果表明每张图像平均仅需 0.35 个标注，即可标注到 80% 的 top-1 准确率，相比之前的工作和手动注释，分别提高了 2.7 倍和 6.7 倍。

    Apr, 2021

  • 注释者一致性、基准真相估计和算法评估的实证研究

    本文研究了计算机视觉中的标注者一致性对目标检测算法评估的影响，发现不同标注者意见的差异对算法的评估有很大影响，GT 的计算方法会对算法性能的排名产生很大的影响甚至可能导致算法性能被高估，且在某些数据集上很难确定一个算法优于另一个算法。

    Jul, 2013

  • 通过多位专家注释员提高医学图像分析中的物体检测：一项实证研究

    本研究探讨了在医学影像分析中利用机器学习算法进行异常检测的方法，重点讨论了算法的性能如何取决于标注者的数量和标签的质量。我们提出了一种简单有效的方法，通过聚合不同水平标注者的标注来解决单个标注者主观性标注的问题。通过估计多个标注的隐藏标签并使用重新加权的损失函数来提高检测性能，我们旨在提高异常检测任务中预测模型的效率。本研究在一个真实的医学影像数据集上进行了评估，并超越了不考虑标注者间差异的相关基线。

    Mar, 2023

  • AQuA: 标签质量评估的基准测试工具

    该论文提出了一个用于评估机器学习中标签错误的基准环境 AQuA，引入了标签错误检测模型的具体设计选择的设计空间，并希望借助该基准实现客观而严格的机器学习工具评估。

    Jun, 2023

  • 众包中的数据质量与垃圾行为检测

    通过方差分解来评估数据质量和检测垃圾信息威胁，提出垃圾信息指数评估整体数据一致性，并利用马尔可夫链和广义随机效应模型开发了两个指标来衡量群体工作者的可信度。

    Apr, 2024

  • 语义空间中基于标签传输的自动图像标注

    本文提出了一种基于核规范相关分析（KCCA）的标签传播框架，能够构建一个潜在的语义空间来嵌入视觉和文本特征之间的相关性，并在四个数据集上展示了显著的改进。该方法不仅可以处理专家标注的数据集，还可以处理社交媒体上用户自动生成标签的嘈杂数据。

    May, 2016

  • 关于数据标注的高效和统计质量估计

    使用置信区间寻找估计注释错误率所需的最小样本量，然后提出应用接受抽样作为错误率估计的一种替代方法，展示接受抽样可以减少最多 50% 的所需样本量，同时提供相同的统计保证。

    May, 2024