Mar, 2024

自适应跟踪的自回归查询与时空 Transformer

PDF
TL;DR提出了一个自适应的带有时空转换器的跟踪器（命名为 AQATrack），通过采用简单的自回归查询来有效地学习时空信息，从而改善了目标跟踪中手动设计组件过多的问题，并设计了新颖的注意力机制来生成当前帧的新查询，最终使用空间 - 时间信息融合模块（STM）定位目标对象，实验结果表明，该方法在六个流行的跟踪基准上显著提高了跟踪器的性能：LaSOT、LaSOText、TrackingNet、GOT-10k、TNL2K 和 UAV123。
spatio-temporal informationtracking algorithmsautoregressive queriesattention mechanismspatio-temporal information fusion
发现论文，激发创造
  • 具有模态提示的时间自适应 RGBT 跟踪

    提出了一种新型的时域自适应 RGBT 跟踪框架 TATrack，该框架通过在线更新模板和跨模式交互，综合利用时空信息和多模态信息进行目标定位，并在三个常用 RGBT 跟踪基准上取得了最先进的性能。

    Jan, 2024

  • 稀疏 Transformer 视觉跟踪

    通过引入稀疏注意力机制和双头预测器，成功地解决了基于 Transformer 模型的视觉跟踪任务中自注意力机制关注背景信息而影响性能的问题，并在 LaSOT、GOT-10k、TrackingNet 和 UAV123 等数据集中表现出显著的跟踪性能。相比 TransT，我们的方法将训练时间缩短了 75％。

    May, 2022

  • AutoTrack：面向自动时空正则化的无人机高性能视觉跟踪

    提出了一种自适应在线学习以提高无人机（UAV）目标跟踪和定位的方法，该方法通过引入空间本地响应地图变化作为空间正则化，并使用全局响应地图变化来确定滤波器的更新速率，优于基于 CPU 和 GPU 的跟踪器，速度为每秒约 60 帧，具有较高的有效性和多功能性。

    Mar, 2020

  • S.T.A.R.-Track：适应空时外观表示的端到端 3D 物体跟踪潜在运动模型

    本文介绍了一种基于注意力跟踪范式的物体中心、基于变压器的三维跟踪框架。我们提出了 S.T.A.R.-Track，该框架使用新颖的隐式运动模型（LMM）将目标查询进行调整，以直接考虑视角和照明条件的变化，同时显式建立几何运动模型。此外，我们还提出了一种可学习的跟踪嵌入，有助于建立跟踪存在概率的模型。在 nuScenes 基准测试中进行的广泛实验显示出我们方法的优势，不仅在 DETR3D 跟踪器方面表现出最先进的性能，同时还显着减少了轨迹的身份切换次数。

    Jun, 2023

  • ACTrack: 为视觉目标跟踪添加时空条件

    我们提出了 ACTrack，一个新的跟踪框架，通过冻结参数来保留预训练的 Transformer 骨干的质量和能力，并使用可训练的轻量级加法网络来建模跟踪中的时空关系，实验结果证明 ACTrack 能够在训练效率和跟踪性能之间取得平衡。

    Feb, 2024

  • 时空预测学习的三元注意力变换器

    基于历史序列预测未来序列的时空预测学习提供了一种自监督学习范式，主流方法利用循环单元进行建模，但循环单元的并行性不足，常常在现实场景中表现欠佳。为了在保持计算效率的同时提高预测质量，我们提出了一种创新的三元注意力变换器，在设计上捕捉了帧间动态与帧内静态特征。通过将 Triplet Attention Module (TAM) 整合到模型中，我们取代了传统的循环单元，并对时空和通道维度中的自注意力机制进行了深入探索。在这种配置下：(i) 时序标记包含了帧间的抽象表示，有助于捕捉固有的时序依赖性；(ii) 空间和通道的注意力结合，通过在空间和通道维度上进行细粒度交互来改进帧内表示。交替运用时序、空间和通道级别的注意力使得我们的方法能够学习更复杂的短程和长程时空依赖关系。广泛的实验表明，我们的方法在移动物体轨迹预测、交通流预测、驾驶场景预测和人体动作捕捉等多种场景下性能超过了现有的基于循环和非循环方法，达到了最先进水平。

    Oct, 2023

  • 基于时空多模态标记的 Transformer RGBT 跟踪

    提出了一种新颖的 Transformer RGBT 跟踪方法，通过融合静态多模态模板和多模态搜索区域中的时空多模态令牌来处理目标外观变化，以实现鲁棒的 RGBT 跟踪，并通过注意机制增强多模态模板令牌的目标特征，从而促进多模态增强的目标变化信息的传递。该方法在三个 RGBT 基准数据集上的实验证明了与其他最先进的跟踪算法相比具有竞争力的性能，帧率可达 39.1。

    Jan, 2024

  • 交通流预测的自适应图空时转换网络

    该论文提出了一种基于自适应图形时空网络和 Transformer 的交叉空间时间注意力机制，在流量预测上的实验结果表明其具有更优秀的性能。

    Jul, 2022

  • ARTrackV2: 促使自回归跟踪器指出看哪里以及如何描述

    ARTrackV2 是一种集成了定位和外观分析两个关键方面的追踪方法，通过引入统一生成框架，以自回归方式 “阅读” 目标物体的轨迹和 “复述” 其外观，实现对运动和视觉特征的时间连续建模，从而提高了精确性和效率。

    Dec, 2023

  • 无人机跟踪的多步骤时间建模

    MT-Track 是一种高效的多步骤时间建模框架，用于增强无人机跟踪任务中的时间上下文，并通过独特的时间相关模块和互补转换模块来提高跟踪准确性。

    Mar, 2024