是否需要注意力通道处理设计？Transformer 视觉模型与完全注意力网络稳健性的综合分析

Jun, 2023

是否需要注意力通道处理设计？Transformer 视觉模型与完全注意力网络稳健性的综合分析

Is Attentional Channel Processing Design Required? Comprehensive Analysis Of Robustness Between Vision Transformers And Fully Attentional Networks

PDF

Abhishri Ajit Medewar, Swanand Ashokrao Kavitkar

TL;DR本文使用 ImageNet 数据集，比较了全自注意力网络 (FAN) 模型和传统的 Vision Transformers 的强健性，以了解注意力处理设计的作用，并使用白盒攻击和黑盒攻击来研究它们之间的可转移性。

Abstract

The robustness testing has been performed for standard cnn models and Vision Transformers, however there is a lack of comprehensive study between the robustness of traditional →

robustness testing cnn models vision transformers attentional channel design imagenet

发现论文，激发创造

理解视觉 Transformer 中的鲁棒性

本研究阐述 Vision Transformers（ViTs）在自我关注机制的作用下，实现了对多种数据干扰的强大稳健性，并且提出了一族全注意网络（FANs），以加强注意通道处理设计的能力。我们的模型在 ImageNet-1k 和 ImageNet-C 上达到了 87.1％的最新准确度和 35.8％的 mCE，并且在两个下游任务中实现了最新的准确性和稳健性：语义分割和物体检测。

Apr, 2022

Vision Transformers 对抗样本的鲁棒性

本文研究了 Vision Transformers 在对抗性样本方面的鲁棒性，分析了其与 CNNs 在攻击和安全方面的不同，并提出了一个简单的混合防御方案以提高鲁棒性和准确性。

Mar, 2021

卷积神经网络是否可以比 Transformer 更强大？

本文通过仔细研究 Transformers 的设计，发现在提高稳健性方面，使用卷积神经网络（CNNs）设计的架构同样有效。具体来说，我们的发现分别是：a）分块输入图像，b）增大卷积核尺寸，以及 c）减少激活层和归一化层的设计。我们的实验结果表明这三种设计的结合可以构建出实现简单，无需 attention-like 操作的卷积神经网络架构，其稳健性与甚至优于 Transformers。

Jun, 2022

Vision Transformer 和 MLP-Mixer 在对抗鲁棒性方面与 CNN 的比较

本文比较了卷积神经网络 (CNN)、Vision Transformer (ViT) 和 MLP-Mixer 的抗对抗攻击性能，并发现新提出的网络结构 ViT 和 MLP-Mixer 比 CNN 更加鲁棒，其中频率分析表明，最具鲁棒性的 ViT 架构倾向于依赖于低频特征，而 MLP-Mixer 则极易受到普适性对抗扰动的影响。

Oct, 2021

关于视觉 Transformer 的对抗鲁棒性

本文对视觉 Transformer（ViT）的抗干扰性进行了全面的研究，发现相比于 MLP-Mixer 和卷积神经网络（CNNs），ViTs 拥有更好的对抗性鲁棒性。经过频率分析和特征可视化，发现 ViTs 所学习的特征中包含的高频模式较少，这有助于解释为什么 ViTs 对高频扰动较不敏感，并且现代 CNN 设计可以帮助填补 ViTs 和 CNNs 表现的差距。

Mar, 2021

你真的需要注意力吗？仅使用一堆前馈层就可以在 ImageNet 上惊人地表现

通过在 Vision Transformer 中替换 Attention 层为基于 Patch 维度的前馈网络，本文发现除 Attention 层外，Transformer 中的其他方面，例如 patch embedding，可能更加关键。在 ImageNet 实验中，新架构的表现意外地好，为 74.9% top-1 accuracy。

May, 2021

医学影像分析中是否仅靠注意力足够？综述

对于医学成像中的混合 CNN-Transf/Attention 模型进行了系统回顾，研究了主要的结构设计、突破、机遇和挑战，同时引入了基于该模型的数据驱动域泛化和适应方法的综合分析框架。

Jul, 2023

视觉 Transformer 能否执行卷积？

本文介绍视觉 Transformer (ViT) 在使用自注意力机制的基础上，探究其能否表达卷积操作，并证明使用输入图像块的单个 ViT 层可以构建任何卷积操作，其中多头注意机制和相对位置编码起着关键作用。作者还提供了 Vision Transformer 表达 CNN 所需头数的下限，该证明的构建可以帮助将卷积偏差注入 Transformer，并在低数据环境下显著提高 ViT 的性能。

Nov, 2021

卷积神经网络或 Transformer 模型更像人类视觉？

比较了卷积神经网络和注意力网络的性能差异，使用新的指标展示了注意力网络的错误更贴近于人类，这些结果对于构建更人类化的视觉模型以及理解视觉对象识别在人类中的意义具有意义。

May, 2021

视觉 Transformer 网络的效率提升：设计技术与洞见

通过重新设计注意力机制，本研究对视觉变换网络（ViT）中的注意力机制进行了全面探索，以提高其性能。包括理论基础、基本概念、关注机制的系统分类以及性能评估等方面的综述。

Mar, 2024