黑铁匠：通过混合单步和多步方法实现视觉 Transformer 的快速对抗训练

Oct, 2023

黑铁匠：通过混合单步和多步方法实现视觉 Transformer 的快速对抗训练

Blacksmith: Fast Adversarial Training of Vision Transformers via a Mixture of Single-step and Multi-step Methods

Mahdi Salmani, Alireza Dehghanpour Farashah, Mohammad Azizmalayeri, Mahdi Amiri, Navid Eslami...

TL;DR我们提出了一种名为 Blacksmith 的新训练策略，用于解决深度学习算法中的 Catastrophic Overfitting 问题，尤其适用于 Vision Transformers。通过在神经网络的对抗训练中随机使用 PGD-2 或 Fast Gradient Sign Method (FGSM) 攻击，我们的方法有效地防止 Catastrophic Overfitting，并且在性能上超越了其他现有技术。

Abstract

Despite the remarkable success achieved by deep learning algorithms in various domains, such as computer vision, they remain vulnerable to adversarial perturbations. adversarial training (AT) stands out as one of

deep learning algorithms adversarial training catastrophic overfitting vision transformers blacksmith

发现论文，激发创造

金字塔对抗训练提高 ViT 模型性能

本研究旨在提高视觉转换器的总体性能，通过实现金字塔对抗训练（PyramidAT），同时采用适配的 Dropout 和随机深度正则化技术，使在分布和越界数据分类准确性之间的权衡断裂。实验结果显示，当只使用 ImageNet-1K 数据训练 ViT-B 模型时，ImageNet 图像的清晰度准确性绝对值提高了 1.82％，同时提高了 7 个 ImageNet 鲁棒性指标，其绝对值范围从 1.76％到 15.68％。

Nov, 2021

理解和提高 Frank-Wolfe 对抗训练的效率

通过 FW-AT 理论框架提出一种新的对抗训练算法 - FW-AT-Adapt，它使用简单的扭曲度量来调整训练中的攻击步数，从而提高效率而不影响鲁棒性。与其他单步方法相比，FW-AT-Adapt 在多步 PGD-AT 的鲁棒性与训练时间上提供了最小的损失。

Dec, 2020

训练鲁棒性视觉 Transformer 的轻量级配方

本文研究使用 Vision Transformers 架构在对抗训练中对抗外部攻击的鲁棒性问题，并使用 ImageNet 数据集的子集进行严格的消融研究，找到了一种改进后的训练方法，可以在不使用强数据增强的情况下提高模型的性能和识别鲁棒性。

Sep, 2022

Learnable Adversarial Initialization 强化快速对抗训练

本研究针对 Adversarial training 应用 Fast Gradient Sign Method (FGSM) 进行改进，提出了一种基于 generative network 和 target network 联合优化的 sample-dependent adversarial initialization 方案来提升模型的鲁棒性，并在四个基准数据库上进行了实验验证，结果表明该方法比现有的 Fast AT 方法更加优越。

Oct, 2021

快速优于免费：再探对抗训练

通过使用快速梯度符号方法（FGSM）来作为对抗样本的构造方法，使得对抗训练的代价不比标准训练更高，而且 FGSM 对抗训练与 PGD 对抗训练效果相当。最后，我们还研究了 FGSM 对抗训练的 “灾难性过拟合” 失败模式。

Jan, 2020

查询高效的硬标签黑盒攻击视觉变换器

本文研究视觉变换器（ViTs）在黑盒情况下对抗性攻击的脆弱性，并提出了一种名为 AdvViT 的新型查询高效的硬标签对抗性攻击方法，通过优化各个图像块的对抗扰动来降低扰动搜索空间的维度，并设计了一个权重掩码矩阵来进一步优化整个图像不同区域的扰动。实验结果表明，与对卷积神经网络的最新攻击相比，我们的 AdvViT 在相同查询预算下具有较低的 L2 范数扭曲，充分验证了 ViTs 在对抗性攻击下的脆弱性。

Jun, 2024

提升视觉 Transformer 的对抗传递性

本研究通过提出两种攻击策略，Self-Ensemble 和 Token Refinement，充分利用了 Vision Transformers 的自注意力和组合性质来增强对抗攻击的传递性能。

Jun, 2021

面向 Vision Transformers 的可迁移对抗攻击

这篇论文提出了一种双重攻击框架，包括 PNA 攻击和 PatchOut 攻击，用于针对 ViTs 的结构进行特殊定制的对抗攻击，包括考虑补丁和自注意力，从而提高对抗样本的可转移性，实验证明，这种攻击方法可大大提高 ViTs 之间的可转移性，并结合现有的转移方法进行性能提升。

Sep, 2021

关于视觉 Transformer 的对抗鲁棒性

本文对视觉 Transformer（ViT）的抗干扰性进行了全面的研究，发现相比于 MLP-Mixer 和卷积神经网络（CNNs），ViTs 拥有更好的对抗性鲁棒性。经过频率分析和特征可视化，发现 ViTs 所学习的特征中包含的高频模式较少，这有助于解释为什么 ViTs 对高频扰动较不敏感，并且现代 CNN 设计可以帮助填补 ViTs 和 CNNs 表现的差距。

Mar, 2021

通过柯西问题理解视觉 Transformers 的对抗稳健性

本文通过理论证明和实证分析，探讨了 Vision Transformers 模型的稳健性，证实其在抵抗自然干扰和强攻击方面优于卷积神经网络，并且证明了模型的 Lipschitz 连续性，进一步分析了模型的关键因素和结构，发现 Multi-head Self-Attention 在抵抗弱攻击方面有所贡献，但在抵抗强攻击方面实际上会削弱模型的稳健性。

Aug, 2022