Jun, 2024

自适应绕过视觉转换块以实现高效的视觉跟踪

PDF
TL;DR通过自适应计算框架 ABTrack，以及采用剪枝技术和绕过决策模块，本研究提出了一种提高视觉跟踪效率的方式，并通过在多个跟踪基准上进行的大量实验证明了其有效性和卓越性能。
visual trackingtransformer-based modelsadaptive computation frameworkvitspruning technique
发现论文，激发创造
  • 利用图像相关的归纳偏见在单支视觉跟踪中的应用

    提出了一种自适应 ViT 模型预测跟踪器 (AViTMP)，通过引入适配器模块和联合目标状态嵌入来丰富基于 ViT 的稠密嵌入范式，并结合了稠密融合解码器和判别式目标模型以预测准确位置。通过双向循环跟踪验证的循环跟踪方法 CycleTrack 增强了跟踪的鲁棒性，还提出了双帧更新推理策略以有效处理长期场景中的挑战。大量实验证明，AViTMP 在长时间跟踪和鲁棒性方面达到了最先进的性能。

    Oct, 2023

  • 基于块选择性重编程的视觉 Transformer 设备端训练

    通过研究现有的内置训练方法的局限性，本文提出了基于块选择性重编程（BSR）的方法，在部分冻结层的基础上，根据自注意力得分从预训练模型中选择性地丢弃令牌，有效地减少训练内存和计算成本，同时保持相似的准确性，适用于多任务学习场景。

    Mar, 2024

  • 卷积旁路更好的视觉 Transformer 适配器

    本文提出使用卷积旁路（Convpass）在预训练的 Vision Transformer 中作为适应模块，这个方法只需要少量可训练参数即可适应大型 Vision Transformer，其表现优于当前的适应模块，并证明为了适应视觉模型需要定制视觉定向的适应模块。

    Jul, 2022

  • 基于移动视觉变压器的视觉目标跟踪

    使用 MobileViT 作为骨干网络并采用融合模板和搜索区域表示的新方法，我们提出了一种轻量级、准确和快速的跟踪算法。实验结果表明，我们的基于 MobileViT 的追踪器 MVT 在大规模数据集 GOT10k 和 TrackingNet 上的性能超过了最新的轻量级追踪器，并且具有较高的推理速度。此外，我们的方法在模型参数减少 4.7 倍并在 GPU 上运行速度为 DiMP-50 追踪器的 2.8 倍的情况下，胜过了流行的 DiMP-50 追踪器。

    Sep, 2023

  • 探索用于高效目标跟踪的动态 Transformer

    通过使用动态网络路由所启发，本文提出了一种用于高效追踪的动态转换器框架，通过学习自动配置适当的推理路径来实现更好地利用可用计算预算，从而在相同运行速度下实现更高的性能。

    Mar, 2024

  • 基于相关掩蔽建模的紧凑型 Transformer 跟踪器

    本文证明了自注意力结构足以实现信息聚合，无需进行结构适应以及对于目标跟踪提取辨别特征和增强目标和搜索图像之间的通信。通过采用基本的视觉 Transformer（ViT）架构作为主跟踪器，并将模板和搜索图像进行特征嵌入，进而提出了一种紧凑的变换跟踪器。该跟踪器仅由一个 ViT 主干和一个框头组成，可以以每秒 40 帧的速度运行，并在多个测试数据集上实现了最先进的跟踪效果。

    Jan, 2023

  • 探索轻量级分层视觉转换器用于高效视觉跟踪

    引入 HiT 模型和 Bridge Module 以及双图像位置编码技术，实现高速且性能优越的追踪模型。

    Aug, 2023

  • 转换模型预测以用于跟踪

    本文提出了一种优化基于追踪算法，采用 Transformer 模型实现的目标模型预测模块，并进一步扩展模型预测器以估计第二组权重以实现精确的边界框回归，该跟踪器在多个跟踪数据集上进行了广泛的实验，并在三个基准测试中取得了 68.5% 的 AUC 值。

    Mar, 2022

  • 基于示例变换器的高效视觉追踪

    本文介绍了一种利用单实例层级注意机制的 Transformer 模块，用于实时视觉物体跟踪的 Exemplar Transformer。通过将 Exemplar Transformer 模块应用于 E.T.Track 视觉追踪器，该方法在 CPU 上可实现 47FPS 的速度，比其他基于 Transformer 的模型快 8 倍以上，同时在 LaSOT，OTB-100，NFS，TrackingNet 和 VOT-ST2020 数据集上始终优于其他实时追踪器。

    Dec, 2021

  • Backbone 是你所需要的一切：一种用于视觉物体跟踪的简化架构

    本文提出了一种 Simplified Tracking 架构（SimTrack），通过利用变压器骨干联合特征提取和交互，进一步提高现有的跟踪方法，并通过提出的 foveal 窗口策略降低了视觉变换器的信息损失，提供更多的可接受计算代价的多样化输入补丁。我们的 SimTrack 在 LaSOT/TNL2K 上取得了 2.5％/2.6％的 AUC 增益，并获得了与其他专业跟踪算法相竞争的结果，而不需要有复杂的高级特性。

    Mar, 2022