Dec, 2023

现实世界视觉数据集中自动误标签检测的实证研究

PDF
TL;DR计算机视觉中使用标记数据集是主要的进展，近期的研究工作提出了用于自动识别错误标记图像的方法，但在实际数据集中有效实施这些方法的策略仍未充分探索。本研究在多个数据集上对最近发展的自动化错误标记检测方法进行了详细评估，结果表明该方法在清理真实世界视觉数据集中性能相似甚至优于先前方法。通过精心设计方法，将该方法应用于真实世界计算机视觉数据集后，在较小的数据情况下使每个分类器的性能提高了 8%。
发现论文，激发创造
  • 分类数据集中的错误标记实例识别

    本文提出了一种非参数化端到端的流程，用于发现在数字、图像和自然语言数据集中的错误标签实例。作者评估了其系统在添加少量标签噪音的情况下的性能，并显示了系统的 top 1％推荐的平均精度超过 0.84。作者最终将其方法的代码和可实现的实现发布出来。

    Dec, 2019

  • 面向可泛化人工智能的无标注多视角三维行人检测：技术和性能分析

    利用通用化人工智能改进无标签目标场景的多视角 3D 行人检测，通过使用未经训练的检测器的自动标注方法，可以获得比直接使用未经训练检测器或使用现有标记的源数据集训练的检测器更好的结果。在使用 WILDTRACK 和 MultiviewX 作为目标数据集时，MODA 比现有的无标签方法分别提高了 4% 和 1%。

    Aug, 2023

  • ObjectLab: 目标检测数据中误标记图像的自动诊断

    我们提出了 ObjectLab 算法，用于检测目标检测标签中的各种错误，包括：漏掉的边界框、位置错误的边界框和错误的类别标签分配。ObjectLab 利用任何经过训练的目标检测模型对每个图像的标签质量进行评分，从而可以自动优先考虑进行标签的审查和修正。适当处理错误数据可训练出更好的目标检测模型的版本，而无需更改现有的建模代码。ObjectLab 在不同的目标检测数据集（包括 COCO）和不同的模型（包括 Detectron-X101 和 Faster-RCNN）上始终比其他标签质量评分方法更准确地检测到注释错误的存在。

    Sep, 2023

  • 通过任意模型评估语义分割数据的标签质量和误差

    研究了用于自动检测语义分割数据集中标注错误的算法，其中应用了 7 种不同的质量评分方法，最有效的方法是使用准确率和召回率的模型预测概率的软最小值来识别标注错误的图像。

    Jul, 2023

  • 标签并不平等：训练物体检测的标签成本合理化

    本文提出了一个统一的主动学习框架，并考虑到了检测器的不确定性和鲁棒性，从而保证了网络在所有类中的良好表现，并利用自动标注抑制潜在的分布漂移，提高了模型的性能。实验表明，我们的方法在 PASCAL VOC07+12 和 MS-COCO 上始终优于广泛应用的主动学习方法，在 mAP 上提高了 7.7%, 或在标注成本上降低了 82%。

    Jun, 2021

  • 测试集中普遍出现标签错误，破坏机器学习基准

    利用自信学习算法和众包验证方法发现了 10 个常用计算机视觉、自然语言和音频数据集的测试集中的标签错误问题，并探讨了这些标签错误对基准结果的影响以及建议应该使用经过正确标注的测试集来评估模型的有效性，对于高比例的标记错误的现实世界数据集，低容量的模型可能比高容量的模型更实用。

    Mar, 2021

  • 针对分布偏移的图像分类半监督深度学习综述

    本篇文章研究了半监督深度学习的最新方法，重点是针对标记和未标记数据集之间分布差异的情况设计的半监督深度学习模型，致力于解决传统深度学习流水线在实际使用环境下对数据的高需求，并希望鼓励社区应对该方面的挑战。

    Mar, 2022

  • 大规模图像分类数据集高效标注的良好实践

    本文研究了一种高效的策略收集多类别图像集的分类标签，使用自监督学习技术并将标注问题视为半监督学习问题，并提出了有效的标注指南，用此方案对 ImageNet100 图像集进行模拟实验，结果表明每张图像平均仅需 0.35 个标注，即可标注到 80% 的 top-1 准确率，相比之前的工作和手动注释，分别提高了 2.7 倍和 6.7 倍。

    Apr, 2021

  • 使用带噪声数据训练目标检测器

    本文探讨了不同类型 label noise 对目标检测模型性能的影响，并演示了如何改进 co-teaching 方法以减少自动标注数据集上产生的 label noise 带来的影响。演示了基于 KITTI 数据集和自动标注数据集上的车辆检测任务的模拟噪声效果。

    May, 2019

  • 利用人机交互提升计算机视觉数据集质量

    本研究引入了一个轻量级、用户友好、可扩展的框架 “Multilabelfy”，通过人机智能的协同作用，实现了高效的数据集验证和质量提升，同时突出了多标签占比的重要性，发现 ImageNetV2 数据集中约 47.88% 的图像包含至少两个标签，这凸显了对这类有影响力的数据集更严格评估的需求，并揭示了潜在标签数与模型准确性之间的负相关关系。

    Jan, 2024