Mar, 2021

Vision Transformers 对抗样本的鲁棒性

PDF
TL;DR本文研究了 Vision Transformers 在对抗性样本方面的鲁棒性，分析了其与 CNNs 在攻击和安全方面的不同，并提出了一个简单的混合防御方案以提高鲁棒性和准确性。
发现论文，激发创造
  • 基于 Transformer 的对抗攻击在安全领域中的有效性

    评估了变压器对系统防御者的恶意样本的强健性以及对系统攻击者的对抗性样本的可迁移性，发现变压器所生成的对抗样本具有最高的可迁移率，对其他模型具有更强的对抗性，强调了研究在安全领域中使用变压器架构进行攻击和防御的重要性，并建议将其作为转移攻击设置中的主要架构。

    Oct, 2023

  • 随机加密视觉转换器的敌对鲁棒防御的集成

    使用视觉变换器 (ViT) 的加密模型的随机集合，提出了一种增强对白盒和黑盒攻击鲁棒性的新方法，在 CIFAR-10 和 ImageNet 数据集的图像分类任务中，该方法不仅对抗白盒攻击，而且对抗黑盒攻击，并在 RobustBench 标准基准中验证了其在干净准确性和鲁棒准确性方面优于传统防御。

    Feb, 2024

  • 面向 Vision Transformers 的可迁移对抗攻击

    这篇论文提出了一种双重攻击框架，包括 PNA 攻击和 PatchOut 攻击，用于针对 ViTs 的结构进行特殊定制的对抗攻击，包括考虑补丁和自注意力，从而提高对抗样本的可转移性，实验证明，这种攻击方法可大大提高 ViTs 之间的可转移性，并结合现有的转移方法进行性能提升。

    Sep, 2021

  • 关于视觉 Transformer 的对抗鲁棒性

    本文对视觉 Transformer（ViT）的抗干扰性进行了全面的研究，发现相比于 MLP-Mixer 和卷积神经网络（CNNs），ViTs 拥有更好的对抗性鲁棒性。经过频率分析和特征可视化，发现 ViTs 所学习的特征中包含的高频模式较少，这有助于解释为什么 ViTs 对高频扰动较不敏感，并且现代 CNN 设计可以帮助填补 ViTs 和 CNNs 表现的差距。

    Mar, 2021

  • 视觉 Transformer 对抗攻击鲁棒性揭示

    本文针对 Vision Transformer 在对抗攻击下的稳健性问题进行了探究，实验证明 Vanilla ViTs 或 Hybrid-ViTs 的对抗攻击鲁棒性比 CNNs 更强。通过提供特征图、注意力图等分析，对注意力模型进行了深入理解。

    Jun, 2021

  • Vision Transformer 和 MLP-Mixer 在对抗鲁棒性方面与 CNN 的比较

    本文比较了卷积神经网络 (CNN)、Vision Transformer (ViT) 和 MLP-Mixer 的抗对抗攻击性能，并发现新提出的网络结构 ViT 和 MLP-Mixer 比 CNN 更加鲁棒，其中频率分析表明，最具鲁棒性的 ViT 架构倾向于依赖于低频特征，而 MLP-Mixer 则极易受到普适性对抗扰动的影响。

    Oct, 2021

  • 卷积神经网络是否可以比 Transformer 更强大？

    本文通过仔细研究 Transformers 的设计，发现在提高稳健性方面，使用卷积神经网络（CNNs）设计的架构同样有效。具体来说，我们的发现分别是：a）分块输入图像，b）增大卷积核尺寸，以及 c）减少激活层和归一化层的设计。我们的实验结果表明这三种设计的结合可以构建出实现简单，无需 attention-like 操作的卷积神经网络架构，其稳健性与甚至优于 Transformers。

    Jun, 2022

  • Transformer 模型是否比卷积神经网络更具鲁棒性？

    本文首次提供公平而深入的 Transformer 和 CNNs 的对比，重点关注强度的评估，并表明了 CNNs 可以像 Transformer 一样有效地抵御对抗攻击。同时，我们发现强大的泛化能力主要得益于 Transformer 的自我关注式结构，而不是其他的训练设置。

    Nov, 2021

  • 使用加密视觉转换器模型的随机集合增强对抗样本的安全性

    本文中，我们提出了一种随机集成的加密视觉转换模型，以实现更加强健的模型，这种模型不仅对黑盒攻击更加强健，而且对白盒攻击也更加强健。

    Jul, 2023

  • 使用 DINO 训练的 Vision Transformers 中的对抗攻击和防御探索

    本研究是关于自监督视觉转换网络 (DINO) 对抗攻击鲁棒性的分析，研究结果发现采用自监督方法学习的特征比监督学习更加鲁棒，并通过 fine-tuning 分类头部实现较好的抵御能力。

    Jun, 2022