CVPRMar, 2021

Transformer Meets Tracker: 挖掘时间上下文，提高鲁棒性视觉跟踪

PDF
TL;DR本文提出了一个基于 transformer 的视频物体跟踪器，在 Siamese-like 跟踪管道中，编码器在模板中注入了基于注意力机制的特征强化以增强模型生成质量，解码器传递上一个模板的跟踪线索到当前帧以方便目标搜索，结果本方法作为一种最先进的记录在普遍跟踪基准上获得了成功。
发现论文，激发创造
  • 使用 Transformer 的视觉跟踪

    本文介绍了一种基于 Transformer 编码器 - 解码器架构和强有力的注意机制的新型追踪器网络，通过自我关注模块和交叉注意力，提高了全局和丰富的背景信息获取，支持超越局部特征的追踪效果，在多个基准测试上表现出优异的性能。

    May, 2021

  • 学习时空变换器进行视觉跟踪

    本文提出一种新的追踪架构，它以编码 - 解码变压器作为核心组件，将目标追踪转化为直接边界框预测问题，从而实现了端到端模型，无需使用任何先前设定的锚点或提案等后处理步骤。

    Mar, 2021

  • 通过双分支全 Transformer 网络学习跟踪表示

    提出了一种仅基于 Transformer 的连体双支路网络，用于目标跟踪。该方法比第一步使用 CNN 提取特征，然后使用 Transformer 融合它们的最佳方法产生更好或可比的结果，在 GOT-10k 和 VOT2020 基准上优于现有技术。此外，该方法实现了实时推理速度（约 40fps）并且代码和模型将被公布。

    Dec, 2021

  • TransTrack：基于 Transformer 的多目标跟踪

    本文提出了 TransTrack，该方法利用 Transformer 架构解决多目标跟踪问题，采用对象特征作为当前帧的查询并引入一组学习对象查询以检测新对象，通过实现单次检测和跟踪建立了新的联合检测和跟踪范例，在 MOT17 和 MOT20 基准测试中达到了 74.5％和 64.5％的 MOTA，是一种优秀的多目标跟踪方法。

    Dec, 2020

  • 无人机跟踪的多步骤时间建模

    MT-Track 是一种高效的多步骤时间建模框架，用于增强无人机跟踪任务中的时间上下文，并通过独特的时间相关模块和互补转换模块来提高跟踪准确性。

    Mar, 2024

  • Transformer 追踪

    本文提出了一种基于 Transformer 注意力机制的特征融合方法，并将其应用于跟踪任务中。实现了在六个有挑战性的数据集上取得了很好的跟踪结果。最终得出了一个名为 TransT 的跟踪器，运行在 GPU 上的大约 50fps。

    Mar, 2021

  • TrackFormer：基于 Transformer 的多目标跟踪

    TrackFormer 是基于编码器 - 解码器变压器架构的端到端可训练的多目标追踪方法，利用注意力实现帧到帧的数据关联，以查询的形式自回归地跟踪现有轨迹并初始化新轨迹，能够实现目前最先进的多目标跟踪的性能。

    Jan, 2021

  • 探索用于高效目标跟踪的动态 Transformer

    通过使用动态网络路由所启发，本文提出了一种用于高效追踪的动态转换器框架，通过学习自动配置适当的推理路径来实现更好地利用可用计算预算，从而在相同运行速度下实现更高的性能。

    Mar, 2024

  • 基于相关掩蔽建模的紧凑型 Transformer 跟踪器

    本文证明了自注意力结构足以实现信息聚合，无需进行结构适应以及对于目标跟踪提取辨别特征和增强目标和搜索图像之间的通信。通过采用基本的视觉 Transformer（ViT）架构作为主跟踪器，并将模板和搜索图像进行特征嵌入，进而提出了一种紧凑的变换跟踪器。该跟踪器仅由一个 ViT 主干和一个框头组成，可以以每秒 40 帧的速度运行，并在多个测试数据集上实现了最先进的跟踪效果。

    Jan, 2023

  • 转换模型预测以用于跟踪

    本文提出了一种优化基于追踪算法，采用 Transformer 模型实现的目标模型预测模块，并进一步扩展模型预测器以估计第二组权重以实现精确的边界框回归，该跟踪器在多个跟踪数据集上进行了广泛的实验，并在三个基准测试中取得了 68.5% 的 AUC 值。

    Mar, 2022