Jan, 2022

TransVOD: 基于空间 - 时间变换器的端到端视频目标检测

PDF
TL;DR本文提出了一种基于 Transformer 和 DETR 的视频目标检测系统 TransVOD，通过时间 Transformer 和 Temporal Deformable Transformer Decoder 的设计，能够提高复杂的手工设计检测器的性能，同时在 ImageNet VID 数据集上获得了新的最佳结果。
detection transformerdeformable detrvideo object detectiontransformer architecturestemporal deformable transformer decoder
发现论文，激发创造
  • 上下文增强的单图像目标检测转换器

    我们提出了一种新颖的单图像目标检测方法，称为 Context Enhanced TRansformer (CETR)，通过将时间上下文引入 DETR 并使用新设计的内存模块。

    Dec, 2023

  • 使用 Transformer 进行端到端的目标检测

    该研究提出了一种新方法，将目标检测作为直接集合预测问题进行处理，主要采用基于集合的全局损失和 Transformer 编码器 - 解码器架构构建 DETR 模型，能够高效地完成目标检测和全景分割任务，相较于许多现代检测器，DETR 模型概念简单且不需要专门的库。

    May, 2020

  • 空间 - 时间增强变压器：用于多帧三维目标检测

    STEMD 是一种基于 DETR 的新型端到端框架，用于实现多帧 3D 物体检测，其有效地捕获了特征和相应级别的时空依赖性，并引入了空间 - 时间图注意力网络，以解决对象之间的空间交互作用和复杂的时间依赖性问题，控制冗余检测结果。

    Jul, 2023

  • Deformable DETR：可变形 Transformer 完整目标检测

    Deformable DETR 提出了一种改进的 Transformer 注意力模块，只关注于围绕参考点的一小集采样点，能够更好地实现物体检测，尤其是在小物体上，并在 COCO 基准测试上得到了有效的实验结果。

    Oct, 2020

  • 一种用于 3D 物体检测的端到端 Transformer 模型

    3DETR 是一种基于 Transformer 的端到端目标检测模型，适用于 3D 点云，相较于现有的检测方法，它需要最少的修改，可以通过将 3D 领域知识整合进去得到进一步的改进，在 ScanNetV2 数据集上，相比于 VoteNet 基线具有 9.5% 更好的性能，并且适用于其他 3D 任务。

    Sep, 2021

  • TubeDETR: 基于 Transformer 的时空视频锚定

    提出了基于 Transformer 的 TubeDETR 模型，该模型能够高效地建模时空和多模态交互，用于解决视频中给定文本查询的时空定位问题，并且在视频定位任务上表现出色。

    Mar, 2022

  • 实时基于 Transformer 的开放词汇检测与高效融合头部

    基于端到端的基于 Transformer 的检测器（DETRs）通过语言模态的融合在封闭集和开放词汇目标检测（OVD）任务中展现出了异常优秀的性能。然而，其对计算资源的需求限制了其在实时目标检测（OD）场景中的实际应用。本文针对 OVDEval 基准测试中两个主要模型 OmDet 和 Grounding-DINO 的限制进行了详细研究，并引入了 OmDet-Turbo。这个新型的基于 Transformer 的实时 OVD 模型具备创新的高效融合头（EFH）模块，旨在缓解 OmDet 和 Grounding-DINO 中存在的瓶颈问题。值得注意的是，OmDet-Turbo-Base 在应用 TensorRT 和语言缓存技术的情况下，实现了 100.2 帧 / 秒（FPS）的速度。值得注意的是，在 COCO 和 LVIS 数据集的零样本情况下，OmDet-Turbo 实现了与当前最先进的有监督模型几乎相当的性能水平。此外，它在 ODinW 和 OVDEval 上建立了新的最先进基准，分别具有 30.1 的 AP 和 26.86 的 NMS-AP。OmDet-Turbo 在工业应用中的实用性得到了证明，其在基准数据集上表现出的优异性能和卓越的推理速度使其成为实时目标检测任务的一个引人注目的选择。

    Mar, 2024

  • 使用 Transformer 进行端到端的视频文本识别

    本研究基于 Transformer 序列建模，提出了一个简单而有效的端到端视频文本识别框架 TransDETR，它能够同时处理文本检测、跟踪和识别，通过两个主要优点：1) 在长序列中使用文本查询跟踪和识别每个文本，2) 在四个视频文本数据集上验证 TransDETR 具有最先进的性能，其中视频文本识别任务性能提高了 8.0％左右。

    Mar, 2022

  • DETR 在实时目标检测中击败了 YOLO

    本文提出了第一款实时端到端物体检测器 ——Real-Time DEtection TRansformer（RT-DETR），支持灵活调整推理速度且在速度和准确度上均优于同一规模的 YOLO 检测器以及 DINO-Deformable-DETR-R50 模型，采用了高效的混合编码器处理多尺度特征并提出 IoU 感知的查询选择。

    Apr, 2023

  • ViDT：一种高效且有效的全 Transformer 目标检测器

    本论文介绍了 ViDT，一个将视觉和检测 Transformers 整合在一起，以构建一个有效且高效的物体检测器，其中包含了重新配置的注意力机制以及计算效率高的 Transformer 解码器来提高检测性能。ViDT 在 Microsoft COCO 基准数据集上的广泛评估结果表明，它在现有的完全基于 Transformer 的目标检测器中具有最佳的 AP 和延迟平衡，并且可以实现高扩展性的大型模型，其 AP 为 49.2。

    Oct, 2021