AAAIJan, 2022

当位移操作遇上视觉 Transformer：一种极其简单的替代注意力机制的方法

PDF
TL;DR本研究研究了注意力机制在视觉 Transformer 中的作用，将其简化为一个名为 ShiftViT 的零参数操作，发现它在分类、检测和分割等任务中表现良好，并且性能与强基线 Swin Transformer 相当甚至更好。
attention mechanismvision transformersshift operationbackbone networkperformance
发现论文，激发创造
  • 视觉 Transformer 的每个阶段只需要更少的注意力

    Vision Transformers (ViTs) have revolutionized computer vision, but their computational complexity and attention saturation issues limit their practical application. The Less-Attention Vision Transformer (LaViT) proposes a novel approach that reduces the number of attention operations and leverages previously calculated attention scores, resulting in superior efficiency and performance across vision tasks.

    Jun, 2024

  • 即插即用：增强微小视觉变形金刚的通道混洗模块

    通过引入一个新颖的通道混洗模块，我们提出了一种改进小型 Vision Transformers 的方法，展示了纯自注意力模型在计算资源受限环境中的潜力。

    Oct, 2023

  • Slide-Transformer: 具有局部自注意力的分层视觉变压器

    本文提出一种新颖的本地自注意力模块 Slide Attention，使用深度卷积和变形平移技术实现高效、灵活和通用的局部特征学习，适用于各种高级视觉 Transformer 模型，并在多项基准测试中实现了持续的性能改进。

    Apr, 2023

  • 视觉 Transformer 网络的效率提升：设计技术与洞见

    通过重新设计注意力机制，本研究对视觉变换网络（ViT）中的注意力机制进行了全面探索，以提高其性能。包括理论基础、基本概念、关注机制的系统分类以及性能评估等方面的综述。

    Mar, 2024

  • 视觉 Transformer 能否执行卷积？

    本文介绍视觉 Transformer (ViT) 在使用自注意力机制的基础上，探究其能否表达卷积操作，并证明使用输入图像块的单个 ViT 层可以构建任何卷积操作，其中多头注意机制和相对位置编码起着关键作用。作者还提供了 Vision Transformer 表达 CNN 所需头数的下限，该证明的构建可以帮助将卷积偏差注入 Transformer，并在低数据环境下显著提高 ViT 的性能。

    Nov, 2021

  • 唤醒视觉 Transformer 中的平移等变性

    本文提出了一种自适应的多相位锚定算法，该算法可无缝集成到视觉 Transformer 模型中，以确保贴片嵌入和子采样关注模块的移位等变，并利用深度卷积编码位置信息。

    Jun, 2023

  • 从语义角度揭示视觉 Transformer 中的自注意力机制：分析与应用

    本研究介绍了一个基于尺度不变特征转换的加权块间关系分析方法，并发现该定量分析不仅是 ViT 中 MSA 机制解释的有效补充，还可以应用于模型推断中的假相关性发现和提示，以及引导模型预训练加速。

    Nov, 2022

  • 视觉 Transformer 的引人注目的性质

    本文旨在分析分析 ViT 模型中自注意力机制对于图像处理中的处理噪声和疑问具有的灵活度，并探讨基于形状编码的图像编码方法，以及使用 ViT 以无需像素级监督的方式实现准确的语义分割。

    May, 2021

  • 使视觉 Transformer 真正具有 Shift-Equivariant 性质

    提出改进的模块设计，使得 Vision Transformers 在图像分类和语义分割任务中具有真正的平移不变性，并在三个不同数据集上实现了有竞争力的性能表现。

    May, 2023

  • 视觉 Transformer 中的注意力图统计检验

    在这项研究中，我们提出了一种用于 Vision Transformer 的注意力的统计测试方法，通过选择性推理的框架，我们量化了注意力的统计显著性，并将其用于脑图像诊断的应用，以可靠的定量证据指示 Vision Transformer 的决策过程。

    Jan, 2024