ICCVDec, 2021

通过双分支全 Transformer 网络学习跟踪表示

PDF
TL;DR提出了一种仅基于 Transformer 的连体双支路网络，用于目标跟踪。该方法比第一步使用 CNN 提取特征，然后使用 Transformer 融合它们的最佳方法产生更好或可比的结果，在 GOT-10k 和 VOT2020 基准上优于现有技术。此外，该方法实现了实时推理速度（约 40fps）并且代码和模型将被公布。
siamese-like dual-branch networktransformersobject trackingreal-time inferencematching
发现论文，激发创造
  • 使用 Transformer 的视觉跟踪

    本文介绍了一种基于 Transformer 编码器 - 解码器架构和强有力的注意机制的新型追踪器网络，通过自我关注模块和交叉注意力，提高了全局和丰富的背景信息获取，支持超越局部特征的追踪效果，在多个基准测试上表现出优异的性能。

    May, 2021

  • 相关嵌入式 Transformer 跟踪：单分支框架

    开发强大和区分性外观模型一直是视觉目标跟踪领域中的一个长期研究挑战。我们提出了一个受 Transformer 启发的新颖单分支跟踪框架 ——SuperSBT，通过在特征网络的多个层次深度嵌入跨图像特征相关性，从而压制非目标特征，实现目标感知特征提取。与传统的双分支 Siamese 跟踪法不同，SuperSBT 能直接用于预测目标位置，提高了跟踪速度，并在多个基准测试上展现了优异的结果。

    Jan, 2024

  • Transformer Meets Tracker: 挖掘时间上下文，提高鲁棒性视觉跟踪

    本文提出了一个基于 transformer 的视频物体跟踪器，在 Siamese-like 跟踪管道中，编码器在模板中注入了基于注意力机制的特征强化以增强模型生成质量，解码器传递上一个模板的跟踪线索到当前帧以方便目标搜索，结果本方法作为一种最先进的记录在普遍跟踪基准上获得了成功。

    Mar, 2021

  • 更多关注视觉语言跟踪

    本文介绍一种基于 ConvNets 和多模态视觉语言 (VL) 的追踪方法，通过模态混合器（ModaMixer）和不对称的 ConvNet 搜索，学习新颖的统一自适应 VL 表示，仅使用 ConvNets 能够在 SOTA 追踪中表现出色，甚至超过几个基于 Transformer 的 SOTA 追踪器。

    Jul, 2022

  • 同步特征提取和匹配：用于 3D 物体跟踪的单支架框架

    本文提出了一种新颖的单分支框架 SyncTrack，通过同步特征提取和匹配，避免了传统的对模板和搜索区域分别进行编码器传递以及引入额外的匹配网络参数，并基于 Transformer 的动态关联实现了同步机制。此外，引入了一种新颖的注意力点采样策略 (APST) 来代替随机 / Farthest Points Sampling (FPS) 方法，通过注意力关系来指导采样，将点采样与特征学习相连接，有助于聚合更加明显和几何特征以进行稀疏点跟踪。在两个基准数据集（KITTI 和 NuScenes）上进行的广泛实验表明，SyncTrack 在实时跟踪方面取得了最先进的性能。

    Aug, 2023

  • Transformer 追踪

    本文提出了一种基于 Transformer 注意力机制的特征融合方法，并将其应用于跟踪任务中。实现了在六个有挑战性的数据集上取得了很好的跟踪结果。最终得出了一个名为 TransT 的跟踪器，运行在 GPU 上的大约 50fps。

    Mar, 2021

  • 通过信息交互学习面向目标的视觉跟踪表示

    本文介绍了一种新的骨干架构，使用交互模型器对 Siamese-like 骨干网络中不同阶段注入参考图像的先验知识，从而提高了特征表征的目标感知能力和鲁棒性，适用于不同的骨干类型的改进。

    Jan, 2022

  • 3D Siamese Transformer 网络用于基于点云的单目标跟踪

    本文使用 Siamese Transformer 网络，结合点云的形态信息和深度信息，在 3D 单目标跟踪任务中实现了鲁棒的交叉相关学习，取得了与 KITTI、nuScenes 和 Waymo 数据集上最优的表现。

    Jul, 2022

  • 全面跟踪物体表征

    该研究提出了一种建立完整物体表示进行跟踪的框架，通过使用多样的物体模板和差异度计量法，可以提高跟踪性能和健壮性，而不降低速度，并适用于需要视觉理解对象的进一步任务。

    Jul, 2019

  • Transformer 跟踪的广义关系建模

    本文提出了一种基于适应性标记划分的关系建模方法，通过与模板标记的交互来改善现有的单流跟踪器中可能出现的目标 - 背景混淆问题，并引入注意掩蔽策略和 Gumbel-Softmax 技术，以促进标记划分模块的并行计算和端到端的学习，在六个具有挑战性的基准测试中实现了最先进的性能。

    Mar, 2023