CVPRMar, 2024

用于开放式物体检测的生成式区域语言预训练

PDF
TL;DR生成式开放式物体检测是一种更通用、实用的问题，本论文提出了一个名为 GenerateU 的简单框架，将物体检测作为一个生成问题，可以以自由形式检测密集物体并生成它们的名称，通过广泛的实验验证了 GenerateU 的强大的零样本检测性能。
open-vocabulary object detectiongenerative open-ended object detectionfree-form object detectiondeformable detrzero-shot detection
发现论文，激发创造
  • 带伪边界框标签的开放词汇目标检测

    本研究提出一种方法，从大规模图像 - 字幕对中自动生成多样物体的伪包围框注释，以扩大训练基础类别的范围，并通过实验证明该方法在各种数据集上比最先进的开放词汇检测器有更好的检测结果。

    Nov, 2021

  • 开放词汇目标检测的学习目标语言对齐

    提出了一种使用自然语言监督学习从配对的图像文本数据中直接学习的新型开放词汇目标检测框架，通过将对象 - 语言对齐形式化为一个图像区域特征集合和一个词向量集合之间的集合匹配问题，可以更简单和有效地在图像 - 文本对上训练开放词汇对象探测器，并在两个基准数据集上进行了广泛的实验，在 LVIS 等新类别上实现了 32.0％的 mAP 和 21.7％的掩膜 mAP 等卓越性能。

    Nov, 2022

  • 利用视觉和语言模型开发目标检测算法的无标签数据

    利用视觉与语言模型产生伪标签的方法来实现无标注图像中物体的定位和分类，从而解决大规模获取标注数据的难题，并通过在学习过程中使用这些伪标签，展示了该方法在开放词汇检测和半监督目标检测等任务上的有效性。

    Jul, 2022

  • 开放世界中的物体检测：通向全能物体检测

    本文提出 UniDetector，一种通用的目标检测器，克服了传统检测器中人工注释、视觉信息和新类别的限制，并在 LVIS、ImageNetBoxes 和 VisualGenome 等大型数据集上表现出强大的零样本泛化能力，探讨了其对于开放世界、大词汇量数据集、高零样本泛化能力等方面的实验结果。

    Mar, 2023

  • 使用字幕的开放词汇物体检测

    本文提出了一种称为开放词汇物体检测的新型物体检测问题，利用有限数量的物体分类边界框注释和图像 - 标题对来训练物体检测器，可以在更低的成本下覆盖更广泛的物体范围，成功地解决了物体检测中监督要求高的问题，并且更具实用性和效率，可以检测和定位那些未在训练过程中提供边界框注释的物体，无监督和零样本方法都无法做到如此高的准确性。

    Nov, 2020

  • CapDet: 统一密集字幕和开放世界检测预训练

    本文提出了一种名为 CapDet 的新方法，通过将开放世界检测和密集字幕任务统一到一个框架中，引入额外的密集字幕头生成区域定位的字幕，以预测给定类别列表下的结果或直接生成预测边界框的类别，并证明该方法通过加入字幕任务，提高了检测性能的概括能力，并在密集字幕任务上取得了类似 VG V1.2 上 15.44% 和 VG-COCO 数据集上 13.98% 的 MAP 等方面的最先进性能。

    Mar, 2023

  • PromptDet: 利用未校准的图像实现开放词汇检测

    本文提出了一种可扩展的对象检测流程，使用零手动标注扩展到新颖 / 不可见类别，该过程包含开放词汇表的对象检测器、区域提示学习、自我训练等四个部分，并通过对挑战性数据集的广泛实验表明了其优于现有方法。

    Mar, 2022

  • 具有条件匹配的 Open-Vocabulary DETR

    提出一种基于 DETR 模型和 Transformer 模型的开放词汇检测器 OV-DETR，该模型能够通过自然语言或示例图像输入，检测任何物体。通过在 LVIS 和 COCO 数据集上进行广泛实验，该模型证明了显著的性能提升。

    Mar, 2022

  • OmDet: 大规模视觉语言多数据集预训练的语言感知目标检测

    本文提出一种基于多模态预训练的语言条件检测框架，能够通过自然语言作为知识表示从不同的数据集中积累 “视觉词汇”，解决多数据集训练中的技术难题，并成功应用于超过 35 个目标检测任务，取得最新成果。

    Sep, 2022

  • 使用大型预训练模型进行零样本开放词汇跟踪

    通过重复用大规模预训练模型进行检测和分割，本研究提出了一种在 2D 视频中追踪和分割任何类别对象的模型，并在多个评估数据集上取得了强大的性能表现。

    Oct, 2023