CVPRMar, 2023

Transformer 跟踪的广义关系建模

PDF
TL;DR本文提出了一种基于适应性标记划分的关系建模方法，通过与模板标记的交互来改善现有的单流跟踪器中可能出现的目标 - 背景混淆问题，并引入注意掩蔽策略和 Gumbel-Softmax 技术，以促进标记划分模块的并行计算和端到端的学习，在六个具有挑战性的基准测试中实现了最先进的性能。
one-stream tracking pipelinerelation modelingadaptive token divisionattention-based relation modelingreal-time running speed
发现论文，激发创造
  • 联合特征学习和关系建模用于跟踪：单流框架

    提出一种新型的单流跟踪框架 (OSTrack)，通过双向信息流桥接模板搜索图像对来统一特征学习和关系建模，从而实现动态提取具有区分度的目标定向特征，同时提出了一种在网络中的候选早期消除模块来进一步提高推理效率。该方法在多个基准测试中都取得了最先进的性能，并在一次性跟踪基准 GOT-10k 上实现了令人印象深刻的结果。

    Mar, 2022

  • 基于时空多模态标记的 Transformer RGBT 跟踪

    提出了一种新颖的 Transformer RGBT 跟踪方法，通过融合静态多模态模板和多模态搜索区域中的时空多模态令牌来处理目标外观变化，以实现鲁棒的 RGBT 跟踪，并通过注意机制增强多模态模板令牌的目标特征，从而促进多模态增强的目标变化信息的传递。该方法在三个 RGBT 基准数据集上的实验证明了与其他最先进的跟踪算法相比具有竞争力的性能，帧率可达 39.1。

    Jan, 2024

  • 使用 Transformer 的视觉跟踪

    本文介绍了一种基于 Transformer 编码器 - 解码器架构和强有力的注意机制的新型追踪器网络，通过自我关注模块和交叉注意力，提高了全局和丰富的背景信息获取，支持超越局部特征的追踪效果，在多个基准测试上表现出优异的性能。

    May, 2021

  • 视觉跟踪的鲁棒物体建模

    提出了一种鲁棒的目标建模框架（ROMTrack），同时对固有模板和混合模板特征进行建模，通过结合目标对象的固有特征和搜索区域的引导来抑制有害干扰物，并使用混合模板提取与目标相关的特征，从而实现更强大的目标建模框架。

    Aug, 2023

  • 通过双分支全 Transformer 网络学习跟踪表示

    提出了一种仅基于 Transformer 的连体双支路网络，用于目标跟踪。该方法比第一步使用 CNN 提取特征，然后使用 Transformer 融合它们的最佳方法产生更好或可比的结果，在 GOT-10k 和 VOT2020 基准上优于现有技术。此外，该方法实现了实时推理速度（约 40fps）并且代码和模型将被公布。

    Dec, 2021

  • 基于关系注意力的图结构任务通用 Transformer

    本文描述了如何使用关系注意力处理图数据，以及在各种基准测试中比图神经网络做得更好的关系变压器。

    Oct, 2022

  • RelationTrack: 带有解耦表示的关系感知多目标跟踪

    该研究提出了一种名为 RelationTrack 的 MOT 框架，它使用全局上下文分离模块和引导变压器编码器来解决检测和重新识别的矛盾，并通过在性能上显著优于现有的算法来建立了新的最先进性能水平。

    May, 2021

  • 多目标跟踪的表示对齐对比正则化

    利用轻量级单层变压器编码器模型化时空关系，通过基于特征对齐的对比正则化损失将特征引入数据关联阶段，以提高现有跟踪网络的性能和解释性。

    Apr, 2024

  • 基于相关掩蔽建模的紧凑型 Transformer 跟踪器

    本文证明了自注意力结构足以实现信息聚合，无需进行结构适应以及对于目标跟踪提取辨别特征和增强目标和搜索图像之间的通信。通过采用基本的视觉 Transformer（ViT）架构作为主跟踪器，并将模板和搜索图像进行特征嵌入，进而提出了一种紧凑的变换跟踪器。该跟踪器仅由一个 ViT 主干和一个框头组成，可以以每秒 40 帧的速度运行，并在多个测试数据集上实现了最先进的跟踪效果。

    Jan, 2023

  • Transformer 追踪

    本文提出了一种基于 Transformer 注意力机制的特征融合方法，并将其应用于跟踪任务中。实现了在六个有挑战性的数据集上取得了很好的跟踪结果。最终得出了一个名为 TransT 的跟踪器，运行在 GPU 上的大约 50fps。

    Mar, 2021