BiFormer: 具有双层路由注意力的视觉 Transformer

CVPRMar, 2023

BiFormer: 具有双层路由注意力的视觉 Transformer

BiFormer: Vision Transformer with Bi-Level Routing Attention

Lei Zhu, Xinjiang Wang, Zhanghan Ke, Wayne Zhang, Rynson Lau

TL;DR介绍了一种新的基于动态稀疏注意力和双层路由的注意力机制，用于实现内容感知的计算分配；其中，提出了一个名为 BiFormer 的新型通用视觉 Transformer，采用 “查询自适应” 的方式进行计算，以提高计算效率，并在图像分类、物体检测和语义分割等计算机视觉任务中取得了有效的结果。

Abstract

As the core building block of vision transformers, attention is a powerful tool to capture long-range dependency. However, such power comes at a cost: it incurs a huge computation burden and heavy memory footprin

vision transformers attention sparse attention content-awareness computational efficiency

发现论文，激发创造

基于内容的稀疏注意力路由转换网络

本研究提出了 Routing Transformer，它结合了疏密注意力和本地、时间疏松注意力的建模灵活性和效率。该模型具有基于在线 K 均值的稀疏路由模块，将注意力的总体复杂度从 $O (n^2d)$ 降至 $O (n^{1.5} d)$，并在 Wikitext-103 和 ImageNet-64 上表现出了良好的性能。

Mar, 2020

DualFormer：面向高效视频识别的分层局部全局 Transformer

本文提出了一种新型的 Transformer 架构 DualFormer 用于视频识别，此架构可以有效地处理空间 - 时间关注，能够捕捉短距离和长距离的时空依赖关系，并通过本地 - 全局层次划分策略显著减少注意力计算中的关键值个数，从而提高效率并在五个视频基准测试上验证了 DualFormer 的优越性能。

Dec, 2021

双向交叉注意力变换器感知更长的序列

利用新颖的双向 Transformer 架构（BiXT），可以线性地扩展输入尺寸，以计算成本和内存消耗为代价，但不会出现其他高效 Transformer 方法中的性能下降或仅限制于一种输入模式的问题。

Feb, 2024

具有分区注意力的双路径 Transformer

本文介绍了一种新颖的双重注意机制，包括由卷积神经网络生成的局部注意和由 Vision Transformer 生成的长程注意，提出了一种新的多头分区关注机制（MHPA）来解决计算复杂性和内存占用的问题，并基于此提出了一个分层视觉骨干网络 DualFormer，在多个计算机视觉任务中都取得了比较好的表现。

May, 2023

视觉 Transformer 中的区域与稀疏注意力融合

本研究提出了一种新的混合视觉 transformer 模型 (ACC-ViT)，运用区域关注和稀疏关注相结合的方式，动态地集成了局部和全局信息，同时保留了分层结构，并在常见的视觉任务中表现出色。

Jun, 2024

双视觉变压器

本文提出了名为 Dual Vision Transformer (Dual-ViT) 的新型 Transformer 结构，在保持准确度的前提下，通过综合运用语义路径和像素路径，将全局语义压缩成更高效的先验信息，进而实现了减少计算复杂度的目的，并在实验中表现出比 SOTA Transformer 结构更高的准确度。

Jul, 2022

RIFormer：在不使用 Token Mixer 功能的同时保持视觉骨干网络的有效性

本文研究如何在去除基本构建模块中的令牌混合器的同时保持视觉骨干的有效性，并提出了一个可行的优化策略，使得我们能够构建一种极其简单的视觉骨干，具有鼓舞人心的性能，同时在推理过程中享受高效性。

Apr, 2023

EcoFormer：线性复杂度的节能注意力

提出了一种新的 Transformer 模型的压缩方法 EcoFormer，通过核化哈希将查询和键映射为低维二进制码，并在自监督学习的方式下匹配注意力图中提取的相似关系，可以实现 Attention 机制的线性复杂度并在芯片能耗上节省很多资源。

Sep, 2022

SpectFormer：视觉 Transformer 中所需的频率和注意力

本研究旨在通过将谱层和多头注意力层结合起来提出 Spectformer 架构，该架构的表现优于其他转换器表示形式，特别是在图像识别任务中。

Apr, 2023

SG-Former: 自我引导变形器与演化式记号重分配

利用自适应细粒度的全局自注意力，SG-Former 模型通过重分配代币实现了高性能，其基本模型在 ImageNet-1K 上达到了 84.7％的 Top-1 准确率，在 CoCo 上达到了 51.2mAP 的 bbAP，在 ADE20K 上达到了 52.7mIoU 的准确率，超过了 Swin Transformer 模型，而计算成本和参数较少。

Aug, 2023