ECCVMar, 2022

Backbone 是你所需要的一切：一种用于视觉物体跟踪的简化架构

PDF
TL;DR本文提出了一种 Simplified Tracking 架构（SimTrack），通过利用变压器骨干联合特征提取和交互，进一步提高现有的跟踪方法，并通过提出的 foveal 窗口策略降低了视觉变换器的信息损失，提供更多的可接受计算代价的多样化输入补丁。我们的 SimTrack 在 LaSOT/TNL2K 上取得了 2.5％/2.6％的 AUC 增益，并获得了与其他专业跟踪算法相竞争的结果，而不需要有复杂的高级特性。
trackingneural architecturetransformer backbonefoveal window strategysiamese trackers
发现论文，激发创造
  • 用于高效物体跟踪的可分离的自注意力与混合注意力变换器

    本文提出了一种用于轻量级追踪的高效自适应混合注意力变压器架构，实现了对相关轻量级追踪策略的显著改进，达到了先进的性能，在多个数据集上运行时帧率较高，参数量较小。

    Sep, 2023

  • 通过信息交互学习面向目标的视觉跟踪表示

    本文介绍了一种新的骨干架构，使用交互模型器对 Siamese-like 骨干网络中不同阶段注入参考图像的先验知识，从而提高了特征表征的目标感知能力和鲁棒性，适用于不同的骨干类型的改进。

    Jan, 2022

  • 相关嵌入式 Transformer 跟踪：单分支框架

    开发强大和区分性外观模型一直是视觉目标跟踪领域中的一个长期研究挑战。我们提出了一个受 Transformer 启发的新颖单分支跟踪框架 ——SuperSBT，通过在特征网络的多个层次深度嵌入跨图像特征相关性，从而压制非目标特征，实现目标感知特征提取。与传统的双分支 Siamese 跟踪法不同，SuperSBT 能直接用于预测目标位置，提高了跟踪速度，并在多个基准测试上展现了优异的结果。

    Jan, 2024

  • 基于单元级可微神经架构搜索的鲁棒视觉跟踪（CHASE）

    该研究提出了一种基于可微分的单元结构自动寻找骨干特征的追踪网络的网络设计机制，旨在解决目标跟踪中由手动设计网络结构所产生的挑战与时间成本问题，实现了在不需要堆叠一系列模块的情况下，通过提出的策略避免了过拟合与性能崩溃问题的影响，实验结果表明优于常用的五种基准方法。

    Jul, 2021

  • 使用 Transformer 的视觉跟踪

    本文介绍了一种基于 Transformer 编码器 - 解码器架构和强有力的注意机制的新型追踪器网络，通过自我关注模块和交叉注意力，提高了全局和丰富的背景信息获取，支持超越局部特征的追踪效果，在多个基准测试上表现出优异的性能。

    May, 2021

  • 学习判别模型预测跟踪

    我们提出了一种基于区分性损失函数的端到端可训练的视觉跟踪器，可以有效地利用目标和背景外观信息进行目标模型预测，并在 6 个跟踪基准测试中取得了新的最好成绩。

    Apr, 2019

  • 转换模型预测以用于跟踪

    本文提出了一种优化基于追踪算法，采用 Transformer 模型实现的目标模型预测模块，并进一步扩展模型预测器以估计第二组权重以实现精确的边界框回归，该跟踪器在多个跟踪数据集上进行了广泛的实验，并在三个基准测试中取得了 68.5% 的 AUC 值。

    Mar, 2022

  • 探索用于高效目标跟踪的动态 Transformer

    通过使用动态网络路由所启发，本文提出了一种用于高效追踪的动态转换器框架，通过学习自动配置适当的推理路径来实现更好地利用可用计算预算，从而在相同运行速度下实现更高的性能。

    Mar, 2024

  • 探索纯视觉 Transformer 主干网络在目标检测中的应用

    本研究探讨使用层次结构大减的视觉变换器（ViT）作为物体检测的骨干网络，使用最小调整实现简单的特征金字塔和窗口注意力，预训练和微调使用 ViT 和掩码自编码器，提出的模型在 COCO 数据集上达到 61.3 AP_box，与使用层次骨干网络的现有领先方法相媲美。

    Mar, 2022

  • 同步特征提取和匹配：用于 3D 物体跟踪的单支架框架

    本文提出了一种新颖的单分支框架 SyncTrack，通过同步特征提取和匹配，避免了传统的对模板和搜索区域分别进行编码器传递以及引入额外的匹配网络参数，并基于 Transformer 的动态关联实现了同步机制。此外，引入了一种新颖的注意力点采样策略 (APST) 来代替随机 / Farthest Points Sampling (FPS) 方法，通过注意力关系来指导采样，将点采样与特征学习相连接，有助于聚合更加明显和几何特征以进行稀疏点跟踪。在两个基准数据集（KITTI 和 NuScenes）上进行的广泛实验表明，SyncTrack 在实时跟踪方面取得了最先进的性能。

    Aug, 2023