May, 2023

MixFormerV2：高效全 Transformer 跟踪

PDF
TL;DR本文提出了一种基于全 Transformer 结构的跟踪框架 MixFormerV2，通过引入四个特殊的预测 tokens，结合目标模板和搜索区域的 tokens，采用 Transformer 骨干网络进行跟踪预测，进而通过简单的 MLP heads 预测跟踪框和评估置信度得分，并提出了一种新的蒸馏模型的减少算法，包括密集到稀疏和深层到浅层的蒸馏，以进一步提高跟踪器性能。
transformer-based trackersefficiencytracking frameworkprediction tokensdistillation-based model reduction
发现论文，激发创造
  • MixFormer：迭代混合注意力实现的端到端跟踪

    本文提出了一种基于 transformers 的简单有效的追踪框架 MixFormer，通过 Mixed Attention Module 实现了特征提取和目标信息集成的同步建模，设计了两种类型的 MixFormer 追踪器，使用不同的预训练方法，提出了减少计算成本的不对称注意机制和有效的得分预测模块，并在包括 LaSOT，TrackingNet，VOT2020，GOT-10k，OTB100 和 UAV123 等七个追踪基准中创造了最新的性能标准。

    Feb, 2023

  • MixFormer: 迭代混合注意力的端到端跟踪

    使用 transformers 建立了一种稳健的跟踪框架 MixFormer，采用混合注意力模块（MAM）实现了特征提取和目标信息的同步建模，同时在 LaSOT、TrackingNet、VOT2020、GOT-10k 和 UAV123 等五个基准测试数据集上取得了最新的最高成功率和 EAO 评分。

    Mar, 2022

  • DualFormer：面向高效视频识别的分层局部全局 Transformer

    本文提出了一种新型的 Transformer 架构 DualFormer 用于视频识别，此架构可以有效地处理空间 - 时间关注，能够捕捉短距离和长距离的时空依赖关系，并通过本地 - 全局层次划分策略显著减少注意力计算中的关键值个数，从而提高效率并在五个视频基准测试上验证了 DualFormer 的优越性能。

    Dec, 2021

  • MetaFormer 对于计算机视觉是必不可少的

    通过取代 Transformers 中的注意力机制，使用空间 MLPs，从而验证了 Transformers 的总体架构（MetaFormer）对模型性能的贡献更为关键。提出了 MetaFormer 的概念，这是一个抽象出 Transformers 中 token mixer 以外的通用架构，并将提出的 PoolFormer 作为未来 MetaFormer 架构设计的起点基线模型。

    Nov, 2021

  • BatchFormerV2: 探索密集表示学习样本关系

    本文提出了一种新的 Batch Transformer 模块，即 BatchFormerV2，可以进一步探索密集表示学习，适用于各种常见的视觉识别任务，包括图像分类、目标检测和全景分割，改进了几种基于 DETR 的目标检测方法 (例如 DETR、Deformable-DETR、Conditional DETR 和 SMCA) 1.3% 以上。

    Apr, 2022

  • 用于高效物体跟踪的可分离的自注意力与混合注意力变换器

    本文提出了一种用于轻量级追踪的高效自适应混合注意力变压器架构，实现了对相关轻量级追踪策略的显著改进，达到了先进的性能，在多个数据集上运行时帧率较高，参数量较小。

    Sep, 2023

  • 用于视觉的 MetaFormer 基线

    本文基于 MetaFormer 架构探索了不同的 token mixer 的组合方式，取得了较高的图像分类准确率，同时也提出了新的激活函数 StarReLU。

    Oct, 2022

  • U-MixFormer：混合注意力的类 UNet Transformer 进行高效语义分割

    我们提出了一种新的变换器解码器 U-MixFormer，基于 U-Net 结构设计的，用于高效的语义分割。通过在编码器和解码器阶段之间利用侧连接作为特征查询，我们的方法与以前的变换器方法有所不同。此外，我们创新地混合来自各个编码器和解码器阶段的分层特征图，形成一个统一的键和值表示，从而产生我们独特的混合注意模块。大量实验证明，U-MixFormer 在各种配置上表现出色，并且在 ADE20K 上使用 MSCAN-T 编码器的 mIoU 比 SegFormer 和 FeedFormer 高出 3.3%。

    Dec, 2023

  • 通过双分支全 Transformer 网络学习跟踪表示

    提出了一种仅基于 Transformer 的连体双支路网络，用于目标跟踪。该方法比第一步使用 CNN 提取特征，然后使用 Transformer 融合它们的最佳方法产生更好或可比的结果，在 GOT-10k 和 VOT2020 基准上优于现有技术。此外，该方法实现了实时推理速度（约 40fps）并且代码和模型将被公布。

    Dec, 2021

  • TopFormer：移动语义分割的 Token 金字塔 Transformer

    本研究提出了一种名为 TopFormer 的移动友好的架构，该架构以不同尺度的 Token 作为输入，产生具有尺度感知的语义特征，并将这些特征注入到相应的 Token 中以增强表示能力，该方法在多个语义分割数据集上明显优于 CNN 和 ViT 网络，并在 ARM 移动设备上以较低的延迟实现了比 MobileNetV3 更高的平均交并比精度，同时，TopFormer 的微型版本可以在 ARM 移动设备上实现实时推断。

    Apr, 2022