面向 Vision Transformers 的可迁移对抗攻击
本研究通过提出两种攻击策略,Self-Ensemble 和 Token Refinement,充分利用了 Vision Transformers 的自注意力和组合性质来增强对抗攻击的传递性能。
Jun, 2021
本文研究了 Vision Transformers 在对抗性样本方面的鲁棒性,分析了其与 CNNs 在攻击和安全方面的不同,并提出了一个简单的混合防御方案以提高鲁棒性和准确性。
Mar, 2021
本论文探讨了 ViTs 和 CNNs 在面对各种对抗攻击时的鲁棒性及其背后的因素,提出了一种名为 Patch-Fool 的攻击框架,通过对单个 patch 进行一系列 attention-aware 优化技术的攻击来愚弄其 self-attention 机制,并发现在 Patch-Fool 攻击下,ViTs 不一定比 CNNs 更具鲁棒性。
Mar, 2022
本文研究视觉变换器(ViTs)在黑盒情况下对抗性攻击的脆弱性,并提出了一种名为 AdvViT 的新型查询高效的硬标签对抗性攻击方法,通过优化各个图像块的对抗扰动来降低扰动搜索空间的维度,并设计了一个权重掩码矩阵来进一步优化整个图像不同区域的扰动。实验结果表明,与对卷积神经网络的最新攻击相比,我们的 AdvViT 在相同查询预算下具有较低的 L2 范数扭曲,充分验证了 ViTs 在对抗性攻击下的脆弱性。
Jun, 2024
提出了一种用于 Vision Transformer 模型的无标签白盒攻击方法,该方法在各种黑盒模型之间表现出较强的迁移性,包括大多数 Vision Transformer 变体、CNN 和 MLP,甚至是针对其他模态开发的模型。攻击的灵感来自于 Vision Transformer 中的特征重叠现象,其中关键的注意力机制过度依赖于特征的低频成分,导致中 - 末层的特征趋向相似并最终崩塌。提出的特征多样性攻击者可以自然加速这一过程,达到卓越的性能和可转移性。
Mar, 2024
本文对视觉 Transformer(ViT)的抗干扰性进行了全面的研究,发现相比于 MLP-Mixer 和卷积神经网络(CNNs),ViTs 拥有更好的对抗性鲁棒性。经过频率分析和特征可视化,发现 ViTs 所学习的特征中包含的高频模式较少,这有助于解释为什么 ViTs 对高频扰动较不敏感,并且现代 CNN 设计可以帮助填补 ViTs 和 CNNs 表现的差距。
Mar, 2021
本文针对 Vision Transformer 在对抗攻击下的稳健性问题进行了探究,实验证明 Vanilla ViTs 或 Hybrid-ViTs 的对抗攻击鲁棒性比 CNNs 更强。通过提供特征图、注意力图等分析,对注意力模型进行了深入理解。
Jun, 2021
该论文基于自然污染和对抗攻击的影响,研究了视觉变压器(ViT)和卷积神经网络(CNN)在图像分类中的表现,发现 ViTs 对自然污染更具鲁棒性,但易受对抗性攻击,然后提出了一种简单的基于温度缩放的方法来提高 ViT 对对抗性攻击的鲁棒性。
Nov, 2021
本篇论文提出了一种名为 Token Gradient Regularization(TGR)的方法,通过在每个内部块中以 token 方式减少 ViTs 反向传播梯度的方差来生成对抗样本,从而攻击 Vision transformers 和 CNNs,并对比现有的迁移攻击方式,在性能上提供了平均 8.8% 的改善。
Mar, 2023
通过研究广泛任务中视觉变换器(ViTs)与卷积神经网络(CNNs)的对比,探讨了 ViTs 的多属性学习能力,并提出了通过单个 ViT 网络训练多个属性的简单而有效的策略。通过对 CelebA 数据集的实证研究,验证了多属性 ViTs 在对抗攻击和 Patch-Fool 等最新变换器攻击下的鲁棒性。
Feb, 2024