本文提出使用密集先验初始化对象容器的方法，利用 Efficient DETR 同时利用密集检测和稀疏集检测，实现只有 3 个编码器层和 1 个解码器层的端到端物体检测，提高了算法效率和性能。在 MS COCO 数据集上的实验证明了该算法在拥挤场景下仍能稳定工作，并取得最先进算法相近的成绩，且在 CrowdHuman 数据集上表现优异。

Apr, 2021

基于 Transformer 的目标检测器 (DETR) 在机器视觉任务中表现出显著性能，但其在处理遮挡和对抗扰动等不同图像干扰方面存在问题。我们通过多种实验和将 DETR 与基于卷积神经网络 (CNN) 的检测器（如 YOLO 和 Faster-RCNN）进行基准测试来研究这个问题。我们发现 DETR 在处理遮挡图像的信息丢失干扰方面表现良好。然而，在涂有对抗标记的图像上，网络需要产生一组新的不必要的键、查询和值，导致网络方向错误。与图像损坏基准测试中 YOLOv5 相比，DETR 的性能也较差。此外，我们发现 DETR 在进行预测时严重依赖于主要查询，导致查询之间的贡献不平衡，因为主要查询接收大部分梯度流。

Oct, 2023

该研究提出了一种新方法，将目标检测作为直接集合预测问题进行处理，主要采用基于集合的全局损失和 Transformer 编码器 - 解码器架构构建 DETR 模型，能够高效地完成目标检测和全景分割任务，相较于许多现代检测器，DETR 模型概念简单且不需要专门的库。

May, 2020

Deformable DETR 提出了一种改进的 Transformer 注意力模块，只关注于围绕参考点的一小集采样点，能够更好地实现物体检测，尤其是在小物体上，并在 COCO 基准测试上得到了有效的实验结果。

Oct, 2020

DETR-like 模型相比传统卷积模型有很大的提升效果，然而现有的编码器结构中所有的令牌都被平等对待，不加区分地处理给传统的编码器结构带来了冗余计算负担，因此提出了 Focus-DETR 来得到更好的计算效率和模型准确性的权衡，通过使用双重注意力的编码器对更具信息量的令牌进行关注，并通过得分来增强细粒度对象查询的语义交互。

Jul, 2023

Sparse DETR 是第一个使用 Transformer 架构的完整目标检测器，其只更新预期被解码器引用的令牌，从而提高模型性能，使性能优于 Deformable DETR。

Nov, 2021

本研究针对小物体检测中 RT-DETR 模型的准确性不足提出了两个关键改进：首先，引入细粒度路径增强方法以提供更多详细信息来精确定位小物体；其次，采用自适应特征融合算法来有效整合不同尺度的特征信息，从而提高模型对不同尺度目标的检测准确率。

Jan, 2024

本文讨论了 DETR 在优化过程中所面对的问题，提出了 TSP-FCOS 和 TSP-RCNN 这两种方法以解决其中与匈牙利损失和 Transformer 跨注意机制有关的问题，并证实了这两个新方法在收敛速度和检测准确度上都显著优于 DETR 和其他基准模型。

Nov, 2020

本文介绍了作者提出的一个新的检测架构 DETR++，在目标检测方面的性能上优于现有基线，并提出了一种 BiFPN 方法，最大限度地提高了多尺度特征的准确性。

Jun, 2022

本文提出了一种名为自适应聚类变换器（ACT）的新型变换器，通过局部敏感哈希（LSH）自适应地聚类查询特征，使用样本 - 键交互来近似查询 - 键交互，将原本二次复杂度的 self-attention 减少到每层中的原型数量 K 的 O（NK），从而将检测目标与 Transformer 相结合，能够在减少计算成本的同时取得良好的精度。

Nov, 2020