Mar, 2024

实时基于 Transformer 的开放词汇检测与高效融合头部

PDF
TL;DR基于端到端的基于 Transformer 的检测器（DETRs）通过语言模态的融合在封闭集和开放词汇目标检测（OVD）任务中展现出了异常优秀的性能。然而，其对计算资源的需求限制了其在实时目标检测（OD）场景中的实际应用。本文针对 OVDEval 基准测试中两个主要模型 OmDet 和 Grounding-DINO 的限制进行了详细研究，并引入了 OmDet-Turbo。这个新型的基于 Transformer 的实时 OVD 模型具备创新的高效融合头（EFH）模块，旨在缓解 OmDet 和 Grounding-DINO 中存在的瓶颈问题。值得注意的是，OmDet-Turbo-Base 在应用 TensorRT 和语言缓存技术的情况下，实现了 100.2 帧 / 秒（FPS）的速度。值得注意的是，在 COCO 和 LVIS 数据集的零样本情况下，OmDet-Turbo 实现了与当前最先进的有监督模型几乎相当的性能水平。此外，它在 ODinW 和 OVDEval 上建立了新的最先进基准，分别具有 30.1 的 AP 和 26.86 的 NMS-AP。OmDet-Turbo 在工业应用中的实用性得到了证明，其在基准数据集上表现出的优异性能和卓越的推理速度使其成为实时目标检测任务的一个引人注目的选择。
end-to-end transformer-based detectorsreal-time object detectionomdet-turboefficient fusion headbenchmark datasets
发现论文，激发创造
  • DETR 在实时目标检测中击败了 YOLO

    本文提出了第一款实时端到端物体检测器 ——Real-Time DEtection TRansformer（RT-DETR），支持灵活调整推理速度且在速度和准确度上均优于同一规模的 YOLO 检测器以及 DINO-Deformable-DETR-R50 模型，采用了高效的混合编码器处理多尺度特征并提出 IoU 感知的查询选择。

    Apr, 2023

  • TransVOD: 基于空间 - 时间变换器的端到端视频目标检测

    本文提出了一种基于 Transformer 和 DETR 的视频目标检测系统 TransVOD，通过时间 Transformer 和 Temporal Deformable Transformer Decoder 的设计，能够提高复杂的手工设计检测器的性能，同时在 ImageNet VID 数据集上获得了新的最佳结果。

    Jan, 2022

  • 一种可扩展、高效、有效的基于 Transformer 的物体检测器

    本文介绍了 Vision 和 Detection Transformers（ViDT），ViDT 是一个有效和高效的物体检测器，它通过重新配置注意力模块来扩展 Swin Transformer 为独立的物体检测器，并采用多尺度特征和辅助技术来提高检测性能，同时还支持对象检测和实例分割的联合任务学习。该技术已在 Microsoft COCO 基准数据集上获得广泛的评估结果，是目前完全基于 Transformer 的最佳物体检测器之一。

    Apr, 2022

  • ViDT：一种高效且有效的全 Transformer 目标检测器

    本论文介绍了 ViDT，一个将视觉和检测 Transformers 整合在一起，以构建一个有效且高效的物体检测器，其中包含了重新配置的注意力机制以及计算效率高的 Transformer 解码器来提高检测性能。ViDT 在 Microsoft COCO 基准数据集上的广泛评估结果表明，它在现有的完全基于 Transformer 的目标检测器中具有最佳的 AP 和延迟平衡，并且可以实现高扩展性的大型模型，其 AP 为 49.2。

    Oct, 2021

  • 使用 Transformer 进行端到端的目标检测

    该研究提出了一种新方法，将目标检测作为直接集合预测问题进行处理，主要采用基于集合的全局损失和 Transformer 编码器 - 解码器架构构建 DETR 模型，能够高效地完成目标检测和全景分割任务，相较于许多现代检测器，DETR 模型概念简单且不需要专门的库。

    May, 2020

  • OmDet: 大规模视觉语言多数据集预训练的语言感知目标检测

    本文提出一种基于多模态预训练的语言条件检测框架，能够通过自然语言作为知识表示从不同的数据集中积累 “视觉词汇”，解决多数据集训练中的技术难题，并成功应用于超过 35 个目标检测任务，取得最新成果。

    Sep, 2022

  • 具有条件匹配的 Open-Vocabulary DETR

    提出一种基于 DETR 模型和 Transformer 模型的开放词汇检测器 OV-DETR，该模型能够通过自然语言或示例图像输入，检测任何物体。通过在 LVIS 和 COCO 数据集上进行广泛实验，该模型证明了显著的性能提升。

    Mar, 2022

  • OW-DETR：开放世界检测变换器

    通过引入一种新型的端到端基于 transformer 的框架 OW-DETR，其中包括 attention 驱动的伪标签、新颖性分类和对象得分三个组件，用于解决开放世界目标检测 (OWOD) 的挑战，在 MS-COCO 和 PASCAL VOC 数据集上的广泛实验表明，该模型表现出优秀的性能，能够从已知类中传递知识到未知类中，能够更好地鉴别未知对象和背景。

    Dec, 2021

  • 医学物体检测中的检测变形器的应用

    本研究探讨了使用 DEtection TRansformer（DETR）检测医学成像中可疑区域的可行性，研究表明这种方法能够与甚至优于当前方法进行匹配，且无需依赖锚点或手动启发式设计等方式来检测对象。

    Jun, 2023

  • LW-DETR：实时检测的一种用于替代 YOLO 的 Transformer

    本文介绍了一种轻量级检测变换器 (LW-DETR)，它在实时目标检测方面优于 YOLO，架构简单，由 ViT 编码器、投影器和浅层 DETR 解码器组成，结合训练有效技术和插入式窗口和全局注意力等最新技术，改进了 ViT 编码器的复杂性，实验证明所提出的方法在 COCO 和其他基准数据集上优于现有的实时检测器。

    Jun, 2024