双流 Transformer 的联合旋转不变性和对抗性训练，在 V4 区域获得最先进的脑分数

Mar, 2022

双流 Transformer 的联合旋转不变性和对抗性训练，在 V4 区域获得最先进的脑分数

Joint rotational invariance and adversarial training of a dual-stream Transformer yields state of the art Brain-Score for Area V4

PDF

William Berrios, Arturo Deza

TL;DR该论文通过展示如何使用双流 Transformer 和联合旋转不变性和对抗优化过程，实现了在 Brain-Score 2022 竞赛中排名第二，并在所有视觉类别中平均排名第一的第一个位置，并且在 V4 区域的可解释方差方面取得了最高的成绩。同时，该模型在 V4，IT 和 Behavior 方面的解释方差也优于 ResNet50 模型。此外，通过几项额外实验，论文支持了一个 “所有道路通往罗马” 的论点，这是通过联合优化规则来实现的，即使对于像 Vision Transformers 这样的非生物学模型。

Abstract

Modern high-scoring models of vision in the brain score competition do not stem from vision transformers. However, in this paper, we provide evidence against the unexpected trend of vision transformers (ViT) bein

vision transformers dual-stream transformer adversarial optimization explainable variance crossvit

发现论文，激发创造

视觉 Transformers 是强大的学习器

本文旨在研究 Vision Transformer 对常见的图像扰动、分布偏移和自然对抗样本的稳健性，并在六个不同的 ImageNet 数据集上与 SOTA 卷积神经网络进行性能比较，通过一系列六个系统设计的实验，提供了定量和定性的分析来解释 ViT 为什么是更加稳健的学习器。

May, 2021

关于视觉 Transformer 的对抗鲁棒性

本文对视觉 Transformer（ViT）的抗干扰性进行了全面的研究，发现相比于 MLP-Mixer 和卷积神经网络（CNNs），ViTs 拥有更好的对抗性鲁棒性。经过频率分析和特征可视化，发现 ViTs 所学习的特征中包含的高频模式较少，这有助于解释为什么 ViTs 对高频扰动较不敏感，并且现代 CNN 设计可以帮助填补 ViTs 和 CNNs 表现的差距。

Mar, 2021

B-Cos 对齐的 Transformer 学习可解释的人类特征

通过引入一种新的架构，即 B-cos Vision Transformer，以提高可解释性，本文证明了 B-cos Swin Transformer 在医学相关任务中超越了 Vision Transformers，并在两个公共数据集上提高了 F1 分数高达 4.7%。

Jan, 2024

视觉 Transformer 对抗攻击鲁棒性揭示

本文针对 Vision Transformer 在对抗攻击下的稳健性问题进行了探究，实验证明 Vanilla ViTs 或 Hybrid-ViTs 的对抗攻击鲁棒性比 CNNs 更强。通过提供特征图、注意力图等分析，对注意力模型进行了深入理解。

Jun, 2021

基于 Transformer 的跨模态融合模型及其对抗训练 ——VQA 挑战赛 2021

本研究提出一种基于 transformer 的跨模态融合建模方法，通过应用对抗培训策略和两种实现技巧，在 VQA 挑战 2021 中取得了 76.72% 的测试准确性。

Jun, 2021

视觉 Transformer 的引人注目的性质

本文旨在分析分析 ViT 模型中自注意力机制对于图像处理中的处理噪声和疑问具有的灵活度，并探讨基于形状编码的图像编码方法，以及使用 ViT 以无需像素级监督的方式实现准确的语义分割。

May, 2021

CrossViT: 跨注意力多尺度视觉 Transformer 用于图像分类

本文提出了一种名为 Dual-Branch Transformer 的模型，通过使用不同尺寸的图像块来获得更强的图像特征，进而学习多尺度特征表示，并采用交叉关注的方法进行多尺度特征的融合，使得计算复杂度得到控制，并在 ImageNet1K 数据集上实现了表现优于或与几个同时期的视觉转换器相当的结果。

Mar, 2021

走向强健的视觉 Transformer

研究发现，很多 ViT 组件对鲁棒性有害，因此提出使用鲁棒组件构建 Robust Vision Transformer（RVT）网络，并进一步提出 position-aware attention scaling 和 patch-wise augmentation 两种方法增强其性能，实验结果显示 RVT 在多项鲁棒性测试中表现优秀。

May, 2021

提升视觉 Transformer 的对抗传递性

本研究通过提出两种攻击策略，Self-Ensemble 和 Token Refinement，充分利用了 Vision Transformers 的自注意力和组合性质来增强对抗攻击的传递性能。

Jun, 2021

自适应 Transformers 用于稳健的少样本跨域人脸防伪

本文提出一种自适应视觉变换器 (ViT) 方法，利用集成适配器模块和特征转换层适应不同域的数据，从而实现跨域活体检测，并在多个基准数据集上取得了与现有方法相媲美的性能.

Mar, 2022