CVPRMar, 2023

Lite DETR：高效的交错多尺度编码器

PDF
TL;DR本文提出了 Lite DETR，一种简单而高效的端到端目标检测框架，用于减少检测头的 GFLOPs，同时保持 99％的原始性能。通过设计一种有效的编码器块，以交错的方式更新高级和低级功能，并开发了一种关键感知可变形关注机制，以更好地融合跨尺度特征。全面的实验验证了所提出的 Lite DETR 的有效性和效率，而高效的编码器策略可以很好地推广到现有的 DETR-based 模型中。
detrmulti-scale feature fusionlite detrobject detectionefficient encoder strategy
发现论文，激发创造
  • Sparse DETR：可学习稀疏性的高效端到端目标检测

    Sparse DETR 是第一个使用 Transformer 架构的完整目标检测器，其只更新预期被解码器引用的令牌，从而提高模型性能，使性能优于 Deformable DETR。

    Nov, 2021

  • DETR 不需要多尺度或局部设计

    本论文介绍了一种改进的 DETR 检测器，它采用了 “简洁” 的设计，使用单尺度特征图和全局交叉注意力计算，并没有特定的局部约束，与之前基于 DETR 的主要检测器相比，没有重新引入多尺度和局部性的架构偏好。我们展示了两种简单的技术在简洁设计中的出人意料的有效性，以弥补多尺度特征图和局部性约束缺失的问题。第一种是将盒子到像素相对位置偏差（BoxRPB）项添加到交叉注意力公式中，它很好地指导每个查询与对应的对象区域相互关注，并提供了编码灵活性。第二种是基于遮蔽图像模型（MIM）的骨干预训练，有助于学习具有细粒度定位能力的表示，并且对于补救对多尺度特征图的依赖是至关重要的。通过结合这些技术和最新的训练方法和问题形成策略，改进的 “简洁” DETR 检测器在原始 DETR 检测器的基础上取得了显著的改进。通过利用 Object365 数据集进行预训练，使用 Swin-L 骨干网络达到了 63.9 的平均精度（mAP），与依赖于多尺度特征图和基于区域的特征提取的最先进的检测器性能相媲美。代码在此 https URL 中提供。

    Aug, 2023

  • 高效 DETR: 使用密集先验改进端到端目标检测器

    本文提出使用密集先验初始化对象容器的方法，利用 Efficient DETR 同时利用密集检测和稀疏集检测，实现只有 3 个编码器层和 1 个解码器层的端到端物体检测，提高了算法效率和性能。在 MS COCO 数据集上的实验证明了该算法在拥挤场景下仍能稳定工作，并取得最先进算法相近的成绩，且在 CrowdHuman 数据集上表现优异。

    Apr, 2021

  • 通过信息增强和自适应特征融合的方式，在 DETR 中进行小物体检测

    本研究针对小物体检测中 RT-DETR 模型的准确性不足提出了两个关键改进：首先，引入细粒度路径增强方法以提供更多详细信息来精确定位小物体；其次，采用自适应特征融合算法来有效整合不同尺度的特征信息，从而提高模型对不同尺度目标的检测准确率。

    Jan, 2024

  • Deformable DETR：可变形 Transformer 完整目标检测

    Deformable DETR 提出了一种改进的 Transformer 注意力模块，只关注于围绕参考点的一小集采样点，能够更好地实现物体检测，尤其是在小物体上，并在 COCO 基准测试上得到了有效的实验结果。

    Oct, 2020

  • DETR++：驯服您的多尺度检测 Transformer

    本文介绍了作者提出的一个新的检测架构 DETR++，在目标检测方面的性能上优于现有基线，并提出了一种 BiFPN 方法，最大限度地提高了多尺度特征的准确性。

    Jun, 2022

  • 少即是多：聚焦注意力的高效 DETR

    DETR-like 模型相比传统卷积模型有很大的提升效果，然而现有的编码器结构中所有的令牌都被平等对待，不加区分地处理给传统的编码器结构带来了冗余计算负担，因此提出了 Focus-DETR 来得到更好的计算效率和模型准确性的权衡，通过使用双重注意力的编码器对更具信息量的令牌进行关注，并通过得分来增强细粒度对象查询的语义交互。

    Jul, 2023

  • LW-DETR：实时检测的一种用于替代 YOLO 的 Transformer

    本文介绍了一种轻量级检测变换器 (LW-DETR)，它在实时目标检测方面优于 YOLO，架构简单，由 ViT 编码器、投影器和浅层 DETR 解码器组成，结合训练有效技术和插入式窗口和全局注意力等最新技术，改进了 ViT 编码器的复杂性，实验证明所提出的方法在 COCO 和其他基准数据集上优于现有的实时检测器。

    Jun, 2024

  • DETR 在实时目标检测中击败了 YOLO

    本文提出了第一款实时端到端物体检测器 ——Real-Time DEtection TRansformer（RT-DETR），支持灵活调整推理速度且在速度和准确度上均优于同一规模的 YOLO 检测器以及 DINO-Deformable-DETR-R50 模型，采用了高效的混合编码器处理多尺度特征并提出 IoU 感知的查询选择。

    Apr, 2023

  • 使用 Transformer 进行端到端的目标检测

    该研究提出了一种新方法，将目标检测作为直接集合预测问题进行处理，主要采用基于集合的全局损失和 Transformer 编码器 - 解码器架构构建 DETR 模型，能够高效地完成目标检测和全景分割任务，相较于许多现代检测器，DETR 模型概念简单且不需要专门的库。

    May, 2020