May, 2024

实时物体检测模型的复制研究和基准测试

PDF
TL;DR本研究旨在检验实时目标检测模型的可重复性和基准测试。通过比较大量的目标检测模型在多个显卡上的精度和推理速度，我们还重现了 DETR、RTMDet、ViTDet 和 YOLOv7 等模型，并提出了一个统一的训练和评估流程，以更好地比较模型。然而，我们发现某些模型在准确性和速度上无法达到原始论文所述性能，而 RTMDet 和 YOLOv7 可以匹配这些性能。总的来说，结果显示准确性和速度之间存在着明显的权衡，其中以无锚点模型（尤其是 RTMDet 或 YOLOx 模型）为主。
发现论文，激发创造
  • DETR 在实时目标检测中击败了 YOLO

    本文提出了第一款实时端到端物体检测器 ——Real-Time DEtection TRansformer（RT-DETR），支持灵活调整推理速度且在速度和准确度上均优于同一规模的 YOLO 检测器以及 DINO-Deformable-DETR-R50 模型，采用了高效的混合编码器处理多尺度特征并提出 IoU 感知的查询选择。

    Apr, 2023

  • DEYOv3：实时目标检测中的 DETR 和 YOLO

    提出了一种名为 DEYOv3 的全新端到端实时目标检测模型，采用逐步训练方法，设计灵活、训练成本低，速度和准确性均优于现有的实时目标检测器。

    Sep, 2023

  • 多个领域实时物体检测网络的综合研究：调查

    通过在多个实时检测器及数据集上进行综合研究，本研究对图像大小、置信阈值、架构层数等多种变量的影响进行了分析，研究了检测网络在分布偏移、自然破坏和对抗攻击等方面的鲁棒性，并提出了对 HTTP/3 实现的区分服务（DiffServ）传输的改进。

    Aug, 2022

  • 实时深度学习车辆和行人检测与分析

    通过训练和评估 YOLOv8 和 RT-DETR 模型的不同版本，我们的研究项目旨在创建和验证一个先进的深度学习框架，能够处理复杂视觉输入，以实时识别各种环境中的汽车和行人。YOLOv8 Large 版本被证明是最有效的，在行人识别方面具有很高的准确性和鲁棒性。研究结果表明，该模型能够显著提高交通监控和安全性，成为计算机视觉领域实时可靠检测的重要贡献，并为交通管理系统建立了新的基准。

    Apr, 2024

  • YOLOv7：可训练的免费物品袋集合为实时物体检测器设立了新的技术水平

    YOLOv7 是一种实时目标检测器，其速度和精度表现均优于已有模型，且只在 MS COCO 数据集上进行训练。

    Jul, 2022

  • 实时物体检测：使用 PyTorch 重新实现 YOLOv1

    使用 PyTorch 框架实现了基于 YOLO v1 架构的实时目标检测，进行了多项技术尝试并与原始算法进行了指标比较。

    May, 2023

  • 使用 Vision Transformers 对检测迁移学习进行基准测试

    本文提出了可用于 Mask R-CNN 的 Vision Transformer 模型的训练技术，使用五种 ViT 初始化方法进行实验比较，结果表明最近基于遮蔽的无监督学习方法可能是首次在 COCO 数据集上提供了令人信服的转移学习改进，随着模型大小的增加，这些基于遮蔽的初始化方法具有更好的可扩展性和改进性。

    Nov, 2021

  • YOLOBench: 嵌入式系统上高效目标检测器的基准测试

    通过在 4 个不同的数据集和 4 个不同的嵌入式硬件平台（x86 CPU，ARM CPU，Nvidia GPU，NPU）上进行公平、可控的比较，收集了 550 多个基于 YOLO 的目标检测模型的准确性和延迟数据，并通过帕累托优化分析表明，基于 YOLO 系列的多种架构都可在准确性和延迟之间取得良好的平衡，包括 YOLOv3 和 YOLOv4 等旧模型。在 YOLOBench 上评估了神经架构搜索中的无成本准确性估计器，并证明虽然大多数最先进的零成本准确性估计器被简单的基准（如 MAC 计数）超越，但其中一些可以有效地用于预测帕累托最优的检测模型。通过在树莓派 4 CPU 上使用零成本代理，展示了一种与最先进的 YOLOv8 模型具有竞争力的 YOLO 架构。

    Jul, 2023

  • 实时基于 Transformer 的开放词汇检测与高效融合头部

    基于端到端的基于 Transformer 的检测器（DETRs）通过语言模态的融合在封闭集和开放词汇目标检测（OVD）任务中展现出了异常优秀的性能。然而，其对计算资源的需求限制了其在实时目标检测（OD）场景中的实际应用。本文针对 OVDEval 基准测试中两个主要模型 OmDet 和 Grounding-DINO 的限制进行了详细研究，并引入了 OmDet-Turbo。这个新型的基于 Transformer 的实时 OVD 模型具备创新的高效融合头（EFH）模块，旨在缓解 OmDet 和 Grounding-DINO 中存在的瓶颈问题。值得注意的是，OmDet-Turbo-Base 在应用 TensorRT 和语言缓存技术的情况下，实现了 100.2 帧 / 秒（FPS）的速度。值得注意的是，在 COCO 和 LVIS 数据集的零样本情况下，OmDet-Turbo 实现了与当前最先进的有监督模型几乎相当的性能水平。此外，它在 ODinW 和 OVDEval 上建立了新的最先进基准，分别具有 30.1 的 AP 和 26.86 的 NMS-AP。OmDet-Turbo 在工业应用中的实用性得到了证明，其在基准数据集上表现出的优异性能和卓越的推理速度使其成为实时目标检测任务的一个引人注目的选择。

    Mar, 2024

  • YOLOv10：实时端到端物体检测

    通过消除非极大值抑制（NMS）的依赖性和综合优化 YOLOs 的各个组件，本研究提出了一种新一代的实时端到端目标检测模型 YOLOv10，其在性能和效率方面均取得了最新的成果。

    May, 2024