ECCVMar, 2022

具有条件匹配的 Open-Vocabulary DETR

PDF
TL;DR提出一种基于 DETR 模型和 Transformer 模型的开放词汇检测器 OV-DETR，该模型能够通过自然语言或示例图像输入，检测任何物体。通过在 LVIS 和 COCO 数据集上进行广泛实验，该模型证明了显著的性能提升。
open-vocabulary object detectionnatural language processingdetrtransformercomputer vision
发现论文，激发创造
  • OV-DQUO: 带降噪文本查询训练和开放世界未知对象监督的开放词汇 DETR

    提出了一种名为 OV-DQUO 的开放词汇 DETR，利用去噪文本查询训练和未知对象监督的方法，通过通配符匹配和对比学习来解决开放词汇检测器中基本类别和新类别之间的信心偏见，能够在 OV-COCO 和 OV-LVIS 基准测试上取得新的最先进结果 45.6 AP50 和 39.3 mAP，而无需额外的训练数据。

    May, 2024

  • OW-DETR：开放世界检测变换器

    通过引入一种新型的端到端基于 transformer 的框架 OW-DETR，其中包括 attention 驱动的伪标签、新颖性分类和对象得分三个组件，用于解决开放世界目标检测 (OWOD) 的挑战，在 MS-COCO 和 PASCAL VOC 数据集上的广泛实验表明，该模型表现出优秀的性能，能够从已知类中传递知识到未知类中，能够更好地鉴别未知对象和背景。

    Dec, 2021

  • 语言条件的检测变压器

    我们提出了一个新的开放词汇检测框架 DECOLA，该框架使用语言条件下的物体检测器和伪标签来实现零样本性能。

    Nov, 2023

  • 用 Transformer 进行的多目标追踪的对比学习

    通过引入实例级对比损失、修订的采样策略和轻量级分配方法，我们展示了如何将 DETR 转化为 MOT 模型，学习目标的外观并保留检测能力，其性能在具有挑战性的 BDD100K 数据集上超过了先前的最新技术水平 2.6 mMOTA，并在 MOT17 数据集上与现有的基于 transformer 的方法相媲美。

    Nov, 2023

  • 好的开放式字词探测器的要素：一个拆解的视角

    开放词汇检测（OVD）是一种新的目标检测范式，旨在定位和识别由不受限词汇定义的未知对象。本文提出了三种 OVD 方法，并通过实验验证了这些方法在不同设置下的性能。其中，DRR 方法在 OVD-COCO 基准测试中取得了最佳表现，并相对于先前最先进水平获得了 2.8 的 AP$_{50}$ 绝对增益。

    Sep, 2023

  • MDETR -- 基于调制的端到端多模态理解检测

    该研究提出了基于 transformer-based 的 MDETR 多模态推理系统，能够从图像中提取物体并进行相关性文本推理，实验表明在对象检测、自然语言问题回答等任务中均获得了最佳表现。

    Apr, 2021

  • 基于图像级别分类和去偏置交叉模态对比学习的开放词汇三维检测

    OV-3DETIC 是一个开放式词汇的 3D 点云检测器，使用基于图像的分类监督，并利用伪标签和实现跨模态对比学习方法从 ImageNet1K 扩展了其单词表，从而使点云检测器具有实现开放式词汇检测的能力，并实现了至少 10.77% 的 mAP 绝对值改进。

    Jul, 2022

  • CastDet: 以 CLIP 激活的师生学习实现开放词汇空中目标检测

    本文研究了在航拍图像中的物体检测问题，提出了一种使用 CLIP 激活的学生 - 教师模型的开放词汇物体检测框架，通过同时生成高质量的候选区域和伪标签来提高新物体的检测性能。

    Nov, 2023

  • X-DETR：一种用于实例级视觉 - 语言任务的通用架构

    本文提出一种名为 X-DETR 的算法，针对具有挑战性的逐实例视觉语言任务进行研究；X-DETR 的架构包括对象检测器、语言编码器和视觉语言对齐器；该算法采用弱监督来扩大知识覆盖范围，经测试准确率高且速度快。

    Apr, 2022

  • 使用 Transformer 进行端到端的目标检测

    该研究提出了一种新方法，将目标检测作为直接集合预测问题进行处理，主要采用基于集合的全局损失和 Transformer 编码器 - 解码器架构构建 DETR 模型，能够高效地完成目标检测和全景分割任务，相较于许多现代检测器，DETR 模型概念简单且不需要专门的库。

    May, 2020