Sep, 2022

OmDet: 大规模视觉语言多数据集预训练的语言感知目标检测

PDF
TL;DR本文提出一种基于多模态预训练的语言条件检测框架，能够通过自然语言作为知识表示从不同的数据集中积累 “视觉词汇”，解决多数据集训练中的技术难题，并成功应用于超过 35 个目标检测任务，取得最新成果。
object detectioncontinual learningmulti-dataset pre-traininglanguage-conditioned detectionfew-shot transfer
发现论文，激发创造
  • 针对 DETR 的语言感知多个数据集检测预训练

    本文提出了一种预训练 DETR 检测器的强大框架，命名为 METR，通过引入预训练语言模型将经典的目标检测器多分类转化为二分类，从而在不需要手动标注标签空间的情况下利用多个数据集联合预训练模型，并通过组合二分匹配策略实现预测。在大量实验中表明 METR 具有出色的性能表现，并可高度灵活地传递到各种 DETR-like 检测器上。

    Apr, 2023

  • ScaleDet: 一种可扩展的多数据集对象检测器

    本文提出了一种可扩展的多数据集检测器 (ScaleDet)，使用语义标签相似性通过视觉 - 文字对齐训练来学习标签分配，从而在多个数据集上实现了强大的模型性能，超越了相同骨干网络的最新检测器。

    Jun, 2023

  • 开放词汇物体检测的多模式分类器

    本文旨在进行无遮挡多类目标检测的研究，探索使用语言描述、图像样例或两者的组合来指定新颖类别的三种方式，研究者通过采用大型语言模型来生成信息化的语言描述，基于图像样例提供了视觉聚合器，并提出了将语言描述和图像样例信息融合的多模态分类器方法。实验表明，本文提出的基于文本的分类器优于之前 OVOD 方案，基于视觉的分类器表现与文本分类器表现相当，而使用多模态分类器比任一模态更好。

    Jun, 2023

  • 增强的物体检测：2024 年 V3Det 挑战赛上关于广泛词汇物体检测轨道的研究

    我们在 V3Det 数据集上对监督式大规模词汇视觉检测任务进行了研究，通过调整网络结构、改变损失函数和设计训练策略等一系列改进，我们的模型在 V3Det Challenge 2024 的大规模目标检测 (Supervised) 任务和 Open Vocabulary Object Detection (OVD) 任务中取得了出色的排名。

    Jun, 2024

  • 通过视觉和语言知识蒸馏进行开放式目标检测

    本文提出了一种通过视觉和语言知识蒸馏的训练方法 ViLD，使得我们可以使用预先训练的图像分类模型直接检测和分类未知类别的物体，其在 LVIS 和其他数据集上的表现超过了现有的最先进水平。

    Apr, 2021

  • DST-Det: 开放词汇目标检测的简单动态自训练

    使用开放词汇的目标检测方法，通过利用预训练的视觉语言模型的零样本分类能力，直接对所有可能的新类别的建议进行分类，而不需要额外的注释或数据集。

    Oct, 2023

  • 野外多模态查询对象检测

    MQ-Det 是一种多模态查询目标检测方法，结合了文本和图像作为类别查询，该方法通过在现有的只有文本的检测器中插入可扩展的感知模块，将类别文本与类别视觉信息相结合，并提出了一种视觉条件掩码语言预测策略，可以显著提高开放式检测的性能。

    May, 2023

  • 多模态大语言模型下的上下文目标检测

    本文介绍了一个名为 ContextDET 的多模态模型，该模型解决了现有的 MLLMs 在物体检测方面的局限性，可以对人机交互中的视觉单元进行定位、识别和分配，意义重大。

    May, 2023

  • 语言条件的检测变压器

    我们提出了一个新的开放词汇检测框架 DECOLA，该框架使用语言条件下的物体检测器和伪标签来实现零样本性能。

    Nov, 2023

  • 面向检测的图像 - 文本预训练的开放词汇测量

    基于检测导向的图像 - 文本预训练的新的开放词汇检测方法用于填补图像级预训练和开放词汇对象检测之间的差距，通过使探测器头从嘈杂的图像 - 文本对中学习，我们的方法能够利用对比损失学习到新出现的对象 - 语义线索，在 LVIS 和 COCO 基准测试中均获得了非常有竞争力的结果，并在转移检测设置中显著优于基线。

    Sep, 2023