利用人机交互提升计算机视觉数据集质量

Jan, 2024

利用人机交互提升计算机视觉数据集质量

Leveraging Human-Machine Interactions for Computer Vision Dataset Quality Enhancement

Esla Timothy Anzaku, Hyesoo Hong, Jin-Woo Park, Wonjun Yang, Kangmin Kim...

TL;DR本研究引入了一个轻量级、用户友好、可扩展的框架 “Multilabelfy”，通过人机智能的协同作用，实现了高效的数据集验证和质量提升，同时突出了多标签占比的重要性，发现 ImageNetV2 数据集中约 47.88% 的图像包含至少两个标签，这凸显了对这类有影响力的数据集更严格评估的需求，并揭示了潜在标签数与模型准确性之间的负相关关系。

Abstract

Large-scale datasets for single-label multi-class classification, such as \emph{ImageNet-1k}, have been instrumental in advancing deep learning and computer vision. However, a critical and often understudied aspect is the comprehensive quality assessment of these datasets, especially r

computer vision dataset quality enhancement dataset validation human-computer interaction multi-label annotation

发现论文，激发创造

大规模图像分类数据集高效标注的良好实践

本文研究了一种高效的策略收集多类别图像集的分类标签，使用自监督学习技术并将标注问题视为半监督学习问题，并提出了有效的标注指南，用此方案对 ImageNet100 图像集进行模拟实验，结果表明每张图像平均仅需 0.35 个标注，即可标注到 80% 的 top-1 准确率，相比之前的工作和手动注释，分别提高了 2.7 倍和 6.7 倍。

Apr, 2021

高级交互式人机学习界面用于收集和学习复杂的注释

本文旨在通过为二分类任务提供人机学习界面，使人类注释者能够利用反事实例来补充标准的二分类标签，以缓解人类注释者适应传统标签所施加的限制。

Mar, 2024

MCAL：最小成本人机主动标注

本文提出了一种迭代方法，通过联合确定用人工分标注哪些样本和用训练有素的分类器进行标注哪些样本来最小化总体成本，从而解决通过云端注释服务生成数据集的成本过高的问题。作者在 Fashion-MNIST、CIFAR-10、CIFAR-100 和 ImageNet 等公共数据集上验证了该方法，并表明其总成本比完全使用人工标注数据集的成本低 6 倍，且始终比最便宜的竞争策略便宜。

Jun, 2020

计算机视觉应用图像标注调查

本研究对图像标注软件进行了系统性的文献综述和分类，提出了组织结构、用户界面设计选项和用户支持技术的体系化方案，并应用于现有软件和文献领域，揭示了多个应用原型和关键领域，如医疗保健或电视中的图像检索或实例识别。

Apr, 2021

建模协作者：通过 LLM 工具使用实现最小人力投入的主观视觉分类

通过使用自然语言交互减少人工标记工作量，本研究提出了一个新框架，用于快速定义概念并自动标记训练数据点，从而替代传统的手动分类方法。在 15 个主观概念和 2 个公共图像分类数据集上进行测试，我们的训练模型在敏捷建模以及 ALIGN、CLIP、CuPL 等最新的零样本分类模型以及大型视觉问答模型（如 PaLI-X）之上表现出色。

Mar, 2024

通过任意模型评估语义分割数据的标签质量和误差

研究了用于自动检测语义分割数据集中标注错误的算法，其中应用了 7 种不同的质量评分方法，最有效的方法是使用准确率和召回率的模型预测概率的软最小值来识别标注错误的图像。

Jul, 2023

LSUN: 使用深度学习和人类参与构建大规模图像数据集

通过部分自动化标记方案，我们扩大人类工作量，借助深度学习来提高图像分类的准确性，并构建一个新的图像数据集 LSUN，这对于进一步的视觉识别研究具有重要作用。

Jun, 2015

更聪明地标记，而不是更艰苦：CleverLabel 实现更快速且高质量地注释模糊图像分类

提出了一种名为 CleverLabel 的新方法，该方法使用 validated proposal-guidEd 注释和 repaired labels 来实现高质量、低成本的标注，可在多个领域的真实图像分类基准测试中，将标注成本降低高达 30.0％，同时相对改进 Kullback-Leibler 散度高达 29.8％，为大规模数据集的高效标注提供了一种新的解决方案，并提高了标注质量。

May, 2023

计算立场检测的多标签和多目标机器注释采样

研究了利用大型语言模型进行自动标注来进行计算立场检测，引入了多标签和多目标采样策略以优化标注质量，实验证明该方法能明显提高性能和学习效果。

Nov, 2023

现实世界视觉数据集中自动误标签检测的实证研究

计算机视觉中使用标记数据集是主要的进展，近期的研究工作提出了用于自动识别错误标记图像的方法，但在实际数据集中有效实施这些方法的策略仍未充分探索。本研究在多个数据集上对最近发展的自动化错误标记检测方法进行了详细评估，结果表明该方法在清理真实世界视觉数据集中性能相似甚至优于先前方法。通过精心设计方法，将该方法应用于真实世界计算机视觉数据集后，在较小的数据情况下使每个分类器的性能提高了 8%。

Dec, 2023