Apr, 2021

高效 DETR: 使用密集先验改进端到端目标检测器

PDF
TL;DR本文提出使用密集先验初始化对象容器的方法，利用 Efficient DETR 同时利用密集检测和稀疏集检测，实现只有 3 个编码器层和 1 个解码器层的端到端物体检测，提高了算法效率和性能。在 MS COCO 数据集上的实验证明了该算法在拥挤场景下仍能稳定工作，并取得最先进算法相近的成绩，且在 CrowdHuman 数据集上表现优异。
end-to-end object detectionefficient detrobject queriesreference pointscrowded scenes
发现论文，激发创造
  • Sparse DETR：可学习稀疏性的高效端到端目标检测

    Sparse DETR 是第一个使用 Transformer 架构的完整目标检测器，其只更新预期被解码器引用的令牌，从而提高模型性能，使性能优于 Deformable DETR。

    Nov, 2021

  • Deformable DETR：可变形 Transformer 完整目标检测

    Deformable DETR 提出了一种改进的 Transformer 注意力模块，只关注于围绕参考点的一小集采样点，能够更好地实现物体检测，尤其是在小物体上，并在 COCO 基准测试上得到了有效的实验结果。

    Oct, 2020

  • 使用 Transformer 进行端到端的目标检测

    该研究提出了一种新方法，将目标检测作为直接集合预测问题进行处理，主要采用基于集合的全局损失和 Transformer 编码器 - 解码器架构构建 DETR 模型，能够高效地完成目标检测和全景分割任务，相较于许多现代检测器，DETR 模型概念简单且不需要专门的库。

    May, 2020

  • 探索 Difficult Images 对检测变换器（DETR）的鲁棒性和特性

    基于 Transformer 的目标检测器 (DETR) 在机器视觉任务中表现出显著性能，但其在处理遮挡和对抗扰动等不同图像干扰方面存在问题。我们通过多种实验和将 DETR 与基于卷积神经网络 (CNN) 的检测器（如 YOLO 和 Faster-RCNN）进行基准测试来研究这个问题。我们发现 DETR 在处理遮挡图像的信息丢失干扰方面表现良好。然而，在涂有对抗标记的图像上，网络需要产生一组新的不必要的键、查询和值，导致网络方向错误。与图像损坏基准测试中 YOLOv5 相比，DETR 的性能也较差。此外，我们发现 DETR 在进行预测时严重依赖于主要查询，导致查询之间的贡献不平衡，因为主要查询接收大部分梯度流。

    Oct, 2023

  • Lite DETR：高效的交错多尺度编码器

    本文提出了 Lite DETR，一种简单而高效的端到端目标检测框架，用于减少检测头的 GFLOPs，同时保持 99％的原始性能。通过设计一种有效的编码器块，以交错的方式更新高级和低级功能，并开发了一种关键感知可变形关注机制，以更好地融合跨尺度特征。全面的实验验证了所提出的 Lite DETR 的有效性和效率，而高效的编码器策略可以很好地推广到现有的 DETR-based 模型中。

    Mar, 2023

  • 基于 Transformer 的目标检测

    本文提出基于 Transformer 的新方法 O²DETR，实现了复杂的有方向物体检测，无需旋转锚点，其性能表现明显优于 Faster R-CNN 和 RetinaNet。

    Jun, 2021

  • 数据有效检测 Transformer

    本研究通过分析数据效率影响因素，发现从图像局部区域进行稀疏特征采样可以减小检测模型对数据的依赖性，并提出了一种简单但有效的标注增强方法，实现最小改动的联合注意力构造，从而提高检测模型在小数据集和样本丰富数据集上的性能。

    Mar, 2022

  • 形变变换器用于视觉跟踪的高效训练

    DETRack 是一种高效的端到端视觉目标跟踪框架，利用编码器 - 解码器结构和可变形 Transformer 解码器作为目标头，显著减少了 GFLOPs 并通过新颖的一对多标签分配和辅助去噪技术加快了模型的收敛速度。实验证实了该方法的有效性和高效性。

    Sep, 2023

  • DETR 在实时目标检测中击败了 YOLO

    本文提出了第一款实时端到端物体检测器 ——Real-Time DEtection TRansformer（RT-DETR），支持灵活调整推理速度且在速度和准确度上均优于同一规模的 YOLO 检测器以及 DINO-Deformable-DETR-R50 模型，采用了高效的混合编码器处理多尺度特征并提出 IoU 感知的查询选择。

    Apr, 2023

  • 一种用于 3D 物体检测的端到端 Transformer 模型

    3DETR 是一种基于 Transformer 的端到端目标检测模型，适用于 3D 点云，相较于现有的检测方法，它需要最少的修改，可以通过将 3D 领域知识整合进去得到进一步的改进，在 ScanNetV2 数据集上，相比于 VoteNet 基线具有 9.5% 更好的性能，并且适用于其他 3D 任务。

    Sep, 2021