Mar, 2024

探索用于高效目标跟踪的动态 Transformer

PDF
TL;DR通过使用动态网络路由所启发，本文提出了一种用于高效追踪的动态转换器框架，通过学习自动配置适当的推理路径来实现更好地利用可用计算预算，从而在相同运行速度下实现更高的性能。
visual object trackingspeed-precision trade-offefficient trackingdynamic transformer frameworktarget-aware self-distillation strategy
发现论文，激发创造
  • 形变变换器用于视觉跟踪的高效训练

    DETRack 是一种高效的端到端视觉目标跟踪框架，利用编码器 - 解码器结构和可变形 Transformer 解码器作为目标头，显著减少了 GFLOPs 并通过新颖的一对多标签分配和辅助去噪技术加快了模型的收敛速度。实验证实了该方法的有效性和高效性。

    Sep, 2023

  • TransTrack：基于 Transformer 的多目标跟踪

    本文提出了 TransTrack，该方法利用 Transformer 架构解决多目标跟踪问题，采用对象特征作为当前帧的查询并引入一组学习对象查询以检测新对象，通过实现单次检测和跟踪建立了新的联合检测和跟踪范例，在 MOT17 和 MOT20 基准测试中达到了 74.5％和 64.5％的 MOTA，是一种优秀的多目标跟踪方法。

    Dec, 2020

  • Transformer Meets Tracker: 挖掘时间上下文，提高鲁棒性视觉跟踪

    本文提出了一个基于 transformer 的视频物体跟踪器，在 Siamese-like 跟踪管道中，编码器在模板中注入了基于注意力机制的特征强化以增强模型生成质量，解码器传递上一个模板的跟踪线索到当前帧以方便目标搜索，结果本方法作为一种最先进的记录在普遍跟踪基准上获得了成功。

    Mar, 2021

  • 基于示例变换器的高效视觉追踪

    本文介绍了一种利用单实例层级注意机制的 Transformer 模块，用于实时视觉物体跟踪的 Exemplar Transformer。通过将 Exemplar Transformer 模块应用于 E.T.Track 视觉追踪器，该方法在 CPU 上可实现 47FPS 的速度，比其他基于 Transformer 的模型快 8 倍以上，同时在 LaSOT，OTB-100，NFS，TrackingNet 和 VOT-ST2020 数据集上始终优于其他实时追踪器。

    Dec, 2021

  • 转换模型预测以用于跟踪

    本文提出了一种优化基于追踪算法，采用 Transformer 模型实现的目标模型预测模块，并进一步扩展模型预测器以估计第二组权重以实现精确的边界框回归，该跟踪器在多个跟踪数据集上进行了广泛的实验，并在三个基准测试中取得了 68.5% 的 AUC 值。

    Mar, 2022

  • 探索轻量级分层视觉转换器用于高效视觉跟踪

    引入 HiT 模型和 Bridge Module 以及双图像位置编码技术，实现高速且性能优越的追踪模型。

    Aug, 2023

  • DiT: 高效的视觉变压器与动态令牌路由

    提出了一种数据相关的令牌路由策略用于图像令牌的动态视觉转换器 (DiT)，以适应对象尺度和视觉识别的变化，并通过选择多路径特征传播来精心调整图像表达的对象尺度和视觉识别的影响，从而实现更好的性能和良好的复杂度 / 准确度平衡。

    Aug, 2023

  • LiteTrack：轻量高效视觉跟踪的异步特征提取层剪枝

    Transformer-based visual trackers have been optimized for efficiency in real-time robotics applications on edge devices, introducing LiteTrack, which achieves a favorable trade-off between accuracy and efficiency.

    Sep, 2023

  • 全球跟踪变压器

    本论文提出了一种新型基于 Transformer 的架构，用于全局多目标跟踪，通过对各帧图像上的物体特征进行编码，通过路径查询将其分组成轨迹，与目标检测器联合训练，可以实现对任意对象的跟踪，并在 MOT17 基准测试中实现了 75.3 的 MOTA 和 59.1 的 HOTA，超越了基于成对联想的基线，并在 TAO 数据集上得到显著的 7.7 跟踪 mAP 的提高。

    Mar, 2022

  • 基于移动视觉变压器的视觉目标跟踪

    使用 MobileViT 作为骨干网络并采用融合模板和搜索区域表示的新方法，我们提出了一种轻量级、准确和快速的跟踪算法。实验结果表明，我们的基于 MobileViT 的追踪器 MVT 在大规模数据集 GOT10k 和 TrackingNet 上的性能超过了最新的轻量级追踪器，并且具有较高的推理速度。此外，我们的方法在模型参数减少 4.7 倍并在 GPU 上运行速度为 DiMP-50 追踪器的 2.8 倍的情况下，胜过了流行的 DiMP-50 追踪器。

    Sep, 2023