DQ-Det：基于 Transformer 的物体检测与分割的学习动态查询组合

ICMLJul, 2023

DQ-Det：基于 Transformer 的物体检测与分割的学习动态查询组合

DQ-Det: Learning Dynamic Query Combinations for Transformer-based Object Detection and Segmentation

Yiming Cui, Linjie Yang, Haichao Yu

TL;DR使用基于 Transformer 的检测和分割方法，学习检测查询列表以从变压器网络中检索信息，并学习预测每个查询中一个特定对象的位置和类别。通过学习基于图像的高层语义的动态系数的凸组合的方式，生成的动态查询更好地捕获不同图像中对象位置和类别的先验信息。利用我们的模态查询，一系列基于 DETR 的模型在多个任务中实现了一致且优秀的性能，包括物体检测，实例分割，全景分割和视频实例分割。

Abstract

transformer-based detection and segmentation methods use a list of learned detection queries to retrieve information from the transformer network and learn to predict the location and category of one specific obj

transformer-based detection segmentation methods modulated queries object detection instance segmentation

发现论文，激发创造

DQ-DETR：用于微小物体检测的具有动态查询的 DETR

我们提出了一种名为 DQ-DETR 的简单而有效的模型，其中包括三个不同的组件：分类计数模块、计数引导的特征增强和动态查询选择，以解决 DET-R 类型方法在检测微小对象方面的挑战。DQ-DETR 使用分类计数模块的预测和密度图动态调整物体查询的数量，并改善查询的位置信息。我们的模型 DQ-DETR 在以微小对象为主的 AI-TOD-V2 数据集上实现了 30.2% 的最优 mAP，优于以前基于 CNN 和 DET-R 类型方法的性能。

Apr, 2024

三维物体检测的多模态物体查询初始化

提出了 EfficientQ3M，一种高效、模块化、多模态的解决方案，用于基于 transformer 的 3D 目标检测模型中的对象查询初始化。通过与 “模态平衡” 的 transformer 解码器相结合，该方法能够在解码器过程中使查询能够访问所有传感器模态，并在竞争激烈的 nuScenes 基准测试中超越现有方法，展示了基于输入的多模态查询初始化的优势，并且比 LiDAR - 摄像机初始化的可用替代方法更高效。该方法可以应用于任何组合的传感器模态作为输入，展示了它的模块化特性。

Oct, 2023

SOLQ: 通过学习查询分割对象

本文介绍了一种基于统一查询的端到端实例分割框架 SOLQ，其通过联合学习指定每个对象的查询，并在一个向量形式中同时执行分类、框回归和掩模编码，可直接转换为空间掩模，以达到最先进的性能。

Jun, 2021

野外多模态查询对象检测

MQ-Det 是一种多模态查询目标检测方法，结合了文本和图像作为类别查询，该方法通过在现有的只有文本的检测器中插入可扩展的感知模块，将类别文本与类别视觉信息相结合，并提出了一种视觉条件掩码语言预测策略，可以显著提高开放式检测的性能。

May, 2023

通过选择性查询再现增强基于查询的对象检测训练

本文指出了查询检测器在预测中期正确预测的同时，在最后的解码阶段误判的现象，通过 Selective Query Recollection (SQR) 的训练策略可以提高后期训练的重要性，允许后期直接使用较早阶段的中间查询，并在各种设置中显著提高其性能。

Dec, 2022

DQ-DETR: 双查询检测 Transformer 用于短语提取和基础定位

本论文探讨了通过考虑短语提取和定位对象来解决视觉 grounding 问题，提出了一种新颖的 DQ-DETR 模型，通过引入双重查询并设计共享位置部分而不同内容部分，使 Transformer 解码器借助短语掩码引导注意力以提高性能。

Nov, 2022

深度平衡物体检测

通过设计深度平衡解码器，我们提出了一种新的基于查询的目标检测器（DEQDet），能够通过一系列解码器层逐步完善查询向量，直接预测物体位置和类别。通过不精确梯度反向传播（RAG）和改进的深度监督方案（RAP），我们的 DEQDet 相较于基准模型（AdaMixer）收敛更快，内存占用更少，并取得了更好的性能表现。在 MS COCO 基准测试下，我们的 DEQDet 使用 ResNet50 骨干网络和 300 个查询达到了 49.5 mAP 和 33.0 AP$_s$，训练方案为 2 倍（24 epochs）。

Aug, 2023

DECO: 基于查询的端到端目标检测与卷积神经网络

通过构建一个基于查询的以卷积网络为基础的端到端目标检测框架 DECO，本研究探索了是否能够用卷积网络来取代复杂的 Transformer 架构，该框架在复杂性较低的情况下实现了与传统的物体检测模型相媲美的性能，并带来了另一种设计目标检测框架的视角。

Dec, 2023

Anchor DETR：基于 Transformer 的目标检测中的查询设计

本论文针对基于 Transformer 的物体检测算法，提出一种新的查询设计，纠正了目前算法中普遍存在的嵌入表达无法明确物体目标位置等缺陷，改为基于锚点查询方法，实现定位到特定区域及多目标检测的要求，并通过注意力变量方案来达到更好的算法性能。

Sep, 2021

通过改进内容查询和相似查询聚合提升 DETR 变体性能

本文介绍了一种自适应内容查询模块（SACQ），它利用变换器编码器的特征通过自注意力池化生成内容查询，解决了传统零初始化或可学习嵌入的内容查询缺乏信息导致性能不佳的问题。为了应对增强的集中力对匈牙利匹配训练过程的挑战，我们提出了查询聚合策略，合并来自不同查询的类似预测候选项，从而简化优化过程。在 COCO 数据集上的广泛实验证明了我们所提方法的有效性，在多种配置下对六种 DETR 变体均取得了超过 1.0 AP 的平均改进。

May, 2024