Dec, 2021

SwinTrack：用于 Transformer 跟踪的简单和强大基线

PDF
TL;DR本文提出了一种基于 Transformer 架构的简单且高效的完全注意力追踪器 SwinTrack，并对其进行了全面的实验。通过对运动标记进行轻量化和历史目标轨迹的嵌入，SwinTrack 在多个基准测试中取得了优于现有各种方法的最佳表现。该算法预计将为追踪任务奠定坚实的基础，并促进未来的研究。
transformertrackingrepresentation learningfeature fusionmotion token
发现论文，激发创造
  • 更多关注视觉语言跟踪

    本文介绍一种基于 ConvNets 和多模态视觉语言 (VL) 的追踪方法，通过模态混合器（ModaMixer）和不对称的 ConvNet 搜索，学习新颖的统一自适应 VL 表示，仅使用 ConvNets 能够在 SOTA 追踪中表现出色，甚至超过几个基于 Transformer 的 SOTA 追踪器。

    Jul, 2022

  • SwinLSTM：使用 Swin Transformer 和 LSTM 提升时空预测准确性

    整合了 CNN 和 RNN 以捕捉时空相关性的方法被广泛应用于时空预测任务中。然而，CNN 学习局部空间信息的特性降低了其捕捉时空相关性的效率，从而限制了其预测准确性。本文中，我们提出了一种新的循环单元 SwinLSTM，它与 Swin Transformer 块和简化版的 LSTM 相结合，用自注意力机制替代了 ConvLSTM 中的卷积结构。此外，我们构建了一个以 SwinLSTM 单元为核心的网络用于时空预测。在 Moving MNIST、Human3.6m、TaxiBJ 和 KTH 数据集上，SwinLSTM 在没有使用特殊技巧的情况下，表现优于最先进的方法，特别在预测准确性方面展现了显著的提升。我们的竞争性实验结果证明了对模型捕捉时空相关性来说学习全局空间依赖性的优势，希望 SwinLSTM 能成为推动时空预测准确性进步的坚实基准。代码可在给定的 URL 中公开获取。

    Aug, 2023

  • Video Swin Transformer

    本文介绍了一种针对视频领域的区域局部性 Transformer 架构，通过使用 Swin Transformer 设计来实现，同时利用预训练模型的威力，取得了行动识别和时间建模等广泛的视频识别基准的最新准确性。

    Jun, 2021

  • 使用 Transformer 的视觉跟踪

    本文介绍了一种基于 Transformer 编码器 - 解码器架构和强有力的注意机制的新型追踪器网络，通过自我关注模块和交叉注意力，提高了全局和丰富的背景信息获取，支持超越局部特征的追踪效果，在多个基准测试上表现出优异的性能。

    May, 2021

  • 通过双分支全 Transformer 网络学习跟踪表示

    提出了一种仅基于 Transformer 的连体双支路网络，用于目标跟踪。该方法比第一步使用 CNN 提取特征，然后使用 Transformer 融合它们的最佳方法产生更好或可比的结果，在 GOT-10k 和 VOT2020 基准上优于现有技术。此外，该方法实现了实时推理速度（约 40fps）并且代码和模型将被公布。

    Dec, 2021

  • 利用 Swin Transformer 进行局部到全局弱监督语义分割

    近年来，计算机视觉领域中的弱监督语义分割使用基于图像级标签的监督引起了广泛关注。本研究探索了使用 Swin Transformer 的 'SWTformer' 来提高初始种子 CAMs 的准确性，通过结合局部和全局视角。

    Jan, 2024

  • 相关嵌入式 Transformer 跟踪：单分支框架

    开发强大和区分性外观模型一直是视觉目标跟踪领域中的一个长期研究挑战。我们提出了一个受 Transformer 启发的新颖单分支跟踪框架 ——SuperSBT，通过在特征网络的多个层次深度嵌入跨图像特征相关性，从而压制非目标特征，实现目标感知特征提取。与传统的双分支 Siamese 跟踪法不同，SuperSBT 能直接用于预测目标位置，提高了跟踪速度，并在多个基准测试上展现了优异的结果。

    Jan, 2024

  • Transformer Meets Tracker: 挖掘时间上下文，提高鲁棒性视觉跟踪

    本文提出了一个基于 transformer 的视频物体跟踪器，在 Siamese-like 跟踪管道中，编码器在模板中注入了基于注意力机制的特征强化以增强模型生成质量，解码器传递上一个模板的跟踪线索到当前帧以方便目标搜索，结果本方法作为一种最先进的记录在普遍跟踪基准上获得了成功。

    Mar, 2021

  • Transformer 追踪

    本文提出了一种基于 Transformer 注意力机制的特征融合方法，并将其应用于跟踪任务中。实现了在六个有挑战性的数据集上取得了很好的跟踪结果。最终得出了一个名为 TransT 的跟踪器，运行在 GPU 上的大约 50fps。

    Mar, 2021

  • TransTrack：基于 Transformer 的多目标跟踪

    本文提出了 TransTrack，该方法利用 Transformer 架构解决多目标跟踪问题，采用对象特征作为当前帧的查询并引入一组学习对象查询以检测新对象，通过实现单次检测和跟踪建立了新的联合检测和跟踪范例，在 MOT17 和 MOT20 基准测试中达到了 74.5％和 64.5％的 MOTA，是一种优秀的多目标跟踪方法。

    Dec, 2020