Apr, 2023

DETR 在实时目标检测中击败了 YOLO

PDF
TL;DR本文提出了第一款实时端到端物体检测器 ——Real-Time DEtection TRansformer（RT-DETR），支持灵活调整推理速度且在速度和准确度上均优于同一规模的 YOLO 检测器以及 DINO-Deformable-DETR-R50 模型，采用了高效的混合编码器处理多尺度特征并提出 IoU 感知的查询选择。
end-to-end transformer-based detectorsnon-maximum suppressionreal-time object detectionhybrid encoderinference speed
发现论文，激发创造
  • DEYOv3：实时目标检测中的 DETR 和 YOLO

    提出了一种名为 DEYOv3 的全新端到端实时目标检测模型，采用逐步训练方法，设计灵活、训练成本低，速度和准确性均优于现有的实时目标检测器。

    Sep, 2023

  • 高质量物体检测的 Rank-DETR

    引入一种基于等级的 DETR 目标检测器 Rank-DETR，通过一系列等级化设计，包括等级化架构设计和损失函数设计，提高了准确性和定位精度，并成功应用于最新的 SOTA 方法，展示了其有效性。

    Oct, 2023

  • LW-DETR：实时检测的一种用于替代 YOLO 的 Transformer

    本文介绍了一种轻量级检测变换器 (LW-DETR)，它在实时目标检测方面优于 YOLO，架构简单，由 ViT 编码器、投影器和浅层 DETR 解码器组成，结合训练有效技术和插入式窗口和全局注意力等最新技术，改进了 ViT 编码器的复杂性，实验证明所提出的方法在 COCO 和其他基准数据集上优于现有的实时检测器。

    Jun, 2024

  • 实时基于 Transformer 的开放词汇检测与高效融合头部

    基于端到端的基于 Transformer 的检测器（DETRs）通过语言模态的融合在封闭集和开放词汇目标检测（OVD）任务中展现出了异常优秀的性能。然而，其对计算资源的需求限制了其在实时目标检测（OD）场景中的实际应用。本文针对 OVDEval 基准测试中两个主要模型 OmDet 和 Grounding-DINO 的限制进行了详细研究，并引入了 OmDet-Turbo。这个新型的基于 Transformer 的实时 OVD 模型具备创新的高效融合头（EFH）模块，旨在缓解 OmDet 和 Grounding-DINO 中存在的瓶颈问题。值得注意的是，OmDet-Turbo-Base 在应用 TensorRT 和语言缓存技术的情况下，实现了 100.2 帧 / 秒（FPS）的速度。值得注意的是，在 COCO 和 LVIS 数据集的零样本情况下，OmDet-Turbo 实现了与当前最先进的有监督模型几乎相当的性能水平。此外，它在 ODinW 和 OVDEval 上建立了新的最先进基准，分别具有 30.1 的 AP 和 26.86 的 NMS-AP。OmDet-Turbo 在工业应用中的实用性得到了证明，其在基准数据集上表现出的优异性能和卓越的推理速度使其成为实时目标检测任务的一个引人注目的选择。

    Mar, 2024

  • 使用 Transformer 进行端到端的目标检测

    该研究提出了一种新方法，将目标检测作为直接集合预测问题进行处理，主要采用基于集合的全局损失和 Transformer 编码器 - 解码器架构构建 DETR 模型，能够高效地完成目标检测和全景分割任务，相较于许多现代检测器，DETR 模型概念简单且不需要专门的库。

    May, 2020

  • 通过信息增强和自适应特征融合的方式，在 DETR 中进行小物体检测

    本研究针对小物体检测中 RT-DETR 模型的准确性不足提出了两个关键改进：首先，引入细粒度路径增强方法以提供更多详细信息来精确定位小物体；其次，采用自适应特征融合算法来有效整合不同尺度的特征信息，从而提高模型对不同尺度目标的检测准确率。

    Jan, 2024

  • 探索 Difficult Images 对检测变换器（DETR）的鲁棒性和特性

    基于 Transformer 的目标检测器 (DETR) 在机器视觉任务中表现出显著性能，但其在处理遮挡和对抗扰动等不同图像干扰方面存在问题。我们通过多种实验和将 DETR 与基于卷积神经网络 (CNN) 的检测器（如 YOLO 和 Faster-RCNN）进行基准测试来研究这个问题。我们发现 DETR 在处理遮挡图像的信息丢失干扰方面表现良好。然而，在涂有对抗标记的图像上，网络需要产生一组新的不必要的键、查询和值，导致网络方向错误。与图像损坏基准测试中 YOLOv5 相比，DETR 的性能也较差。此外，我们发现 DETR 在进行预测时严重依赖于主要查询，导致查询之间的贡献不平衡，因为主要查询接收大部分梯度流。

    Oct, 2023

  • 基于 Transformer 的目标检测

    本文提出基于 Transformer 的新方法 O²DETR，实现了复杂的有方向物体检测，无需旋转锚点，其性能表现明显优于 Faster R-CNN 和 RetinaNet。

    Jun, 2021

  • Deformable DETR：可变形 Transformer 完整目标检测

    Deformable DETR 提出了一种改进的 Transformer 注意力模块，只关注于围绕参考点的一小集采样点，能够更好地实现物体检测，尤其是在小物体上，并在 COCO 基准测试上得到了有效的实验结果。

    Oct, 2020

  • YOLOv10：实时端到端物体检测

    通过消除非极大值抑制（NMS）的依赖性和综合优化 YOLOs 的各个组件，本研究提出了一种新一代的实时端到端目标检测模型 YOLOv10，其在性能和效率方面均取得了最新的成果。

    May, 2024