该论文介绍了一种条件交叉注意力机制，名为条件 DETR，以应对目标检测中 DETR 训练速度较慢的问题，并通过实验证明，相较于传统的 DETR，条件 DETR 在训练速度上提升了 10 倍，并可通过 https 链接获取源代码。

Aug, 2021

本文提出了一种名为自适应聚类变换器（ACT）的新型变换器，通过局部敏感哈希（LSH）自适应地聚类查询特征，使用样本 - 键交互来近似查询 - 键交互，将原本二次复杂度的 self-attention 减少到每层中的原型数量 K 的 O（NK），从而将检测目标与 Transformer 相结合，能够在减少计算成本的同时取得良好的精度。

Nov, 2020

Deformable DETR 提出了一种改进的 Transformer 注意力模块，只关注于围绕参考点的一小集采样点，能够更好地实现物体检测，尤其是在小物体上，并在 COCO 基准测试上得到了有效的实验结果。

Oct, 2020

本文提出 Semantic-Aligned-Matching DETR++（SAM-DETR++）算法，通过在同一特征嵌入空间中投影对象查询和编码图像特征以便更容易地匹配具有类似语义的对象。此算法有效地融合了多尺度特征，加速了 DETR 的收敛速度并提高了检测精度，拥有成为现有 DETR 收敛解决方案完美补充的潜力。

Jul, 2022

本论文介绍了一种改进的 DETR 检测器，它采用了 “简洁” 的设计，使用单尺度特征图和全局交叉注意力计算，并没有特定的局部约束，与之前基于 DETR 的主要检测器相比，没有重新引入多尺度和局部性的架构偏好。我们展示了两种简单的技术在简洁设计中的出人意料的有效性，以弥补多尺度特征图和局部性约束缺失的问题。第一种是将盒子到像素相对位置偏差（BoxRPB）项添加到交叉注意力公式中，它很好地指导每个查询与对应的对象区域相互关注，并提供了编码灵活性。第二种是基于遮蔽图像模型（MIM）的骨干预训练，有助于学习具有细粒度定位能力的表示，并且对于补救对多尺度特征图的依赖是至关重要的。通过结合这些技术和最新的训练方法和问题形成策略，改进的 “简洁” DETR 检测器在原始 DETR 检测器的基础上取得了显著的改进。通过利用 Object365 数据集进行预训练，使用 Swin-L 骨干网络达到了 63.9 的平均精度（mAP），与依赖于多尺度特征图和基于区域的特征提取的最先进的检测器性能相媲美。代码在此 https URL 中提供。

Aug, 2023

通过空间解耦 DETR（SD-DETR）设计方案和任务感知查询生成模块，以及通过引入对齐损失的新颖设计，我们在 MSCOCO 数据集上展示了在目标检测任务中 DETR 性能的显著提升，例如我们将 Conditional DETR 的性能提高了 4.5 AP。

Oct, 2023

STEMD 是一种基于 DETR 的新型端到端框架，用于实现多帧 3D 物体检测，其有效地捕获了特征和相应级别的时空依赖性，并引入了空间 - 时间图注意力网络，以解决对象之间的空间交互作用和复杂的时间依赖性问题，控制冗余检测结果。

Jul, 2023

DETR-like 模型相比传统卷积模型有很大的提升效果，然而现有的编码器结构中所有的令牌都被平等对待，不加区分地处理给传统的编码器结构带来了冗余计算负担，因此提出了 Focus-DETR 来得到更好的计算效率和模型准确性的权衡，通过使用双重注意力的编码器对更具信息量的令牌进行关注，并通过得分来增强细粒度对象查询的语义交互。

Jul, 2023

SAM-DETR 通过解决不同特征嵌入空间中对象查询与目标特征匹配的复杂性问题，实现了语义对齐匹配，加速了收敛速度并提高了检测精度。

Mar, 2022

通过引入分层显著性筛选细化和稳定的两阶段初始化查询模块，该研究论文在 DETR 类方法中取得了显著的性能提升，克服了规模偏差和语义不匹配的问题，并在多个任务特定的检测数据集上实现了 4.0% ~ 4.4% 的平均准确率（AP）提高以及在 COCO 2017 数据集上实现了 49.2% 的 AP 提高，并且使用更少的 FLOPs 达到了更高的计算效率。

Mar, 2024