利用视觉和语言模型开发目标检测算法的无标签数据

ECCVJul, 2022

利用视觉和语言模型开发目标检测算法的无标签数据

Exploiting Unlabeled Data with Vision and Language Models for Object Detection

Shiyu Zhao, Zhixing Zhang, Samuel Schulter, Long Zhao, Vijay Kumar B.G...

TL;DR利用视觉与语言模型产生伪标签的方法来实现无标注图像中物体的定位和分类，从而解决大规模获取标注数据的难题，并通过在学习过程中使用这些伪标签，展示了该方法在开放词汇检测和半监督目标检测等任务上的有效性。

Abstract

Building robust and generic object detection frameworks requires scaling to larger label spaces and bigger training datasets. However, it is prohibitively costly to acquire annotations for thousands of categories at a large scale. We propose a novel method that leverages the rich seman

object detection labeling vision and language models pseudo labels open-vocabulary detection

发现论文，激发创造

带伪边界框标签的开放词汇目标检测

本研究提出一种方法，从大规模图像 - 字幕对中自动生成多样物体的伪包围框注释，以扩大训练基础类别的范围，并通过实验证明该方法在各种数据集上比最先进的开放词汇检测器有更好的检测结果。

Nov, 2021

使用伪字幕标签进行开放词汇物体检测

该研究提出了一种名为 Pseudo Caption Labeling（PCL）的简单而有效的方法，利用图像字幕模型生成对不同角度目标实例的描述，通过这些大量的数据样本进行知识提炼，以丰富目标的属性和关系等细节，从而提高模型的性能，实验表明该方法可以与任何图像字幕模型一起使用，不需要对模型架构或训练流程进行任何限制。

Mar, 2023

开放词汇目标检测的学习目标语言对齐

提出了一种使用自然语言监督学习从配对的图像文本数据中直接学习的新型开放词汇目标检测框架，通过将对象 - 语言对齐形式化为一个图像区域特征集合和一个词向量集合之间的集合匹配问题，可以更简单和有效地在图像 - 文本对上训练开放词汇对象探测器，并在两个基准数据集上进行了广泛的实验，在 LVIS 等新类别上实现了 32.0％的 mAP 和 21.7％的掩膜 mAP 等卓越性能。

Nov, 2022

用于开放式物体检测的生成式区域语言预训练

生成式开放式物体检测是一种更通用、实用的问题，本论文提出了一个名为 GenerateU 的简单框架，将物体检测作为一个生成问题，可以以自由形式检测密集物体并生成它们的名称，通过广泛的实验验证了 GenerateU 的强大的零样本检测性能。

Mar, 2024

可伸缩的三维物体检测的伪标记技术

研究了使用伪标签在无监督训练中提高 3D 物体检测效率的方法，并证明伪标签训练的学生模型在一些情况下可以胜过使用更多标记样本的监督模型。

Mar, 2021

VLM-PL：基于视觉 - 语言模型的高级伪标签方法的类别增量对象检测

在 Class Incremental Object Detection（CIOD）领域，解决模型如何像人类一样持续学习的问题是一个重大挑战。为了克服传统的伪标签方法在多场景增量学习中遗忘过去知识的问题，该研究介绍了一种名为 Vision-Language Model assisted Pseudo-Labeling（VLM-PL）的新方法。通过将图像和文本特征组合设计的提示模板生成自定义查询，借助视觉 - 语言模型（VLM），VLM-PL 技术能够验证伪标签的正确性，而无需额外的模型训练。通过将精细化的伪标签和真实标签整合，并结合新旧知识，VLM-PL 在 Pascal VOC 和 MS COCO 数据集上进行了广泛实验，不仅在多场景问题上表现出色，还在双场景问题上取得了最先进的结果。

Mar, 2024

通过视觉和语言知识蒸馏进行开放式目标检测

本文提出了一种通过视觉和语言知识蒸馏的训练方法 ViLD，使得我们可以使用预先训练的图像分类模型直接检测和分类未知类别的物体，其在 LVIS 和其他数据集上的表现超过了现有的最先进水平。

Apr, 2021

开放词汇目标检测中学习超越名词概念的伪标签器

本文提出了一种简单而有效的方法，用于直接学习任意概念的区域 - 文本对齐，从而在开放词汇目标检测方面取得有竞争力的性能和在任意概念的指称表达理解方面取得显著的改进。

Dec, 2023

使用字幕的开放词汇物体检测

本文提出了一种称为开放词汇物体检测的新型物体检测问题，利用有限数量的物体分类边界框注释和图像 - 标题对来训练物体检测器，可以在更低的成本下覆盖更广泛的物体范围，成功地解决了物体检测中监督要求高的问题，并且更具实用性和效率，可以检测和定位那些未在训练过程中提供边界框注释的物体，无监督和零样本方法都无法做到如此高的准确性。

Nov, 2020

使用统一标签空间从多个数据集中进行目标检测

本文提出了一种框架，通过融合多个数据集的标签空间进行单一目标检测，解决了不同注释数据集之间的矛盾问题，采用伪标签方法处理局部而正确的注释，提出了损失函数将伪标签与噪声控制在一个相对稳定的范围内，并通过实验表明了方法的有效性。

Aug, 2020