MDETR -- 基于调制的端到端多模态理解检测

Apr, 2021

MDETR -- 基于调制的端到端多模态理解检测

MDETR -- Modulated Detection for End-to-End Multi-Modal Understanding

Aishwarya Kamath, Mannat Singh, Yann LeCun, Gabriel Synnaeve, Ishan Misra...

TL;DR该研究提出了基于 transformer-based 的 MDETR 多模态推理系统，能够从图像中提取物体并进行相关性文本推理，实验表明在对象检测、自然语言问题回答等任务中均获得了最佳表现。

Abstract

multi-modal reasoning systems rely on a pre-trained object detector to extract regions of interest from the image. However, this crucial module is typically used as a black box, trained independently of the downstream task and on a fixed vocabulary of objects and attributes. This makes

multi-modal reasoning mdetr transformer-based architecture phrase grounding object detection

发现论文，激发创造

使用 Transformer 进行端到端的目标检测

该研究提出了一种新方法，将目标检测作为直接集合预测问题进行处理，主要采用基于集合的全局损失和 Transformer 编码器 - 解码器架构构建 DETR 模型，能够高效地完成目标检测和全景分割任务，相较于许多现代检测器，DETR 模型概念简单且不需要专门的库。

May, 2020

针对 DETR 的语言感知多个数据集检测预训练

本文提出了一种预训练 DETR 检测器的强大框架，命名为 METR，通过引入预训练语言模型将经典的目标检测器多分类转化为二分类，从而在不需要手动标注标签空间的情况下利用多个数据集联合预训练模型，并通过组合二分匹配策略实现预测。在大量实验中表明 METR 具有出色的性能表现，并可高度灵活地传递到各种 DETR-like 检测器上。

Apr, 2023

用 Transformer 进行的多目标追踪的对比学习

通过引入实例级对比损失、修订的采样策略和轻量级分配方法，我们展示了如何将 DETR 转化为 MOT 模型，学习目标的外观并保留检测能力，其性能在具有挑战性的 BDD100K 数据集上超过了先前的最新技术水平 2.6 mMOTA，并在 MOT17 数据集上与现有的基于 transformer 的方法相媲美。

Nov, 2023

DQ-DETR: 双查询检测 Transformer 用于短语提取和基础定位

本论文探讨了通过考虑短语提取和定位对象来解决视觉 grounding 问题，提出了一种新颖的 DQ-DETR 模型，通过引入双重查询并设计共享位置部分而不同内容部分，使 Transformer 解码器借助短语掩码引导注意力以提高性能。

Nov, 2022

DAMS-DETR: 动态自适应多光谱检测变压器与竞争查询选择和自适应特征融合

基于 DETR 的动态自适应多光谱检测变压器 (DAMS-DETR) 可通过融合红外和可见光图像的互补信息来实现全天候、稳健的物体检测，同时解决高动态变异的互补特征和常见的模态错位问题。

Mar, 2024

UP-DETR：基于 Transformer 的无监督预训练物体检测

本研究提出了一种名为随机查询块检测的预训练任务 (UP-DETR)，通过多查询本地化技术和注意力掩码来将其从单一查询块推广到多查询块，提高了检测性能和收敛速度。

Nov, 2020

具有条件匹配的 Open-Vocabulary DETR

提出一种基于 DETR 模型和 Transformer 模型的开放词汇检测器 OV-DETR，该模型能够通过自然语言或示例图像输入，检测任何物体。通过在 LVIS 和 COCO 数据集上进行广泛实验，该模型证明了显著的性能提升。

Mar, 2022

野外多模态查询对象检测

MQ-Det 是一种多模态查询目标检测方法，结合了文本和图像作为类别查询，该方法通过在现有的只有文本的检测器中插入可扩展的感知模块，将类别文本与类别视觉信息相结合，并提出了一种视觉条件掩码语言预测策略，可以显著提高开放式检测的性能。

May, 2023

Deformable DETR：可变形 Transformer 完整目标检测

Deformable DETR 提出了一种改进的 Transformer 注意力模块，只关注于围绕参考点的一小集采样点，能够更好地实现物体检测，尤其是在小物体上，并在 COCO 基准测试上得到了有效的实验结果。

Oct, 2020

M3DeTR：基于 Transformer 的多表征、多尺度、互相关联的 3D 物体检测

提出了一种新颖的 3D 物体检测架构 M3DeTR，它将不同的点云表示方法（原始、体素、鸟瞰图）和不同的特征尺度结合在一起，并基于多尺度特征金字塔来模型点云之间的相互关系。通过大量的消融实验，突出了特征尺度和表示方式融合，以及模型点云之间的相互关系的好处。在 KITTI 3D 物体检测数据集和 Waymo 开放数据集中取得了最先进的性能表现，并在一些类别中排名第一。

Apr, 2021