CVPRMar, 2022

GradViT: Vision Transformers 的梯度反演

PDF
TL;DR该论文展示了视觉转换器（ViTs）对基于渐变的反演攻击的易受攻击性。作者提供了一种名为 GradViT 的方法，可以将随机噪声优化为自然图像，以通过迭代过程重建原始数据批次。作者发现 Vision Transformers 由于注意机制的存在，比之前研究过的 CNNs 容易受到攻击。作者的方法具有卓越的定量与定性表现。
vision transformersgradient-based inversion attacksgradvitdata reconstructionattention mechanism
发现论文，激发创造
  • 查询高效的硬标签黑盒攻击视觉变换器

    本文研究视觉变换器（ViTs）在黑盒情况下对抗性攻击的脆弱性，并提出了一种名为 AdvViT 的新型查询高效的硬标签对抗性攻击方法，通过优化各个图像块的对抗扰动来降低扰动搜索空间的维度，并设计了一个权重掩码矩阵来进一步优化整个图像不同区域的扰动。实验结果表明，与对卷积神经网络的最新攻击相比，我们的 AdvViT 在相同查询预算下具有较低的 L2 范数扭曲，充分验证了 ViTs 在对抗性攻击下的脆弱性。

    Jun, 2024

  • 基于 Token 梯度正则化的可转移的视觉 Transformer 的对抗攻击

    本篇论文提出了一种名为 Token Gradient Regularization（TGR）的方法，通过在每个内部块中以 token 方式减少 ViTs 反向传播梯度的方差来生成对抗样本，从而攻击 Vision transformers 和 CNNs，并对比现有的迁移攻击方式，在性能上提供了平均 8.8% 的改善。

    Mar, 2023

  • 使用视觉 Transformer 训练 GANs 的 ViTGAN

    本文研究在生成对抗网络中引入 Vision Transformers (ViTs) 架构，并通过引入创新的正则化技术（ViTGAN）解决现有正则化方法与自注意力交互不良的问题，实验表明 ViTGAN 在 CIFAR-10，CelebA 和 LSUN 卧室数据集上表现不亚于基于卷积神经网络的 StyleGAN2 的最新成果。

    Jul, 2021

  • PriViT：用于快速私密推理的视觉 Transformer

    使用 PriViT 算法，通过温和改变 Vision Transformer 结构中的非线性变换，实现了在维持预测准确性的同时，适应安全多方计算（MPC）协议的隐私预测，相比于现有方案，PriViT 在延迟 - 准确性的 Pareto 最优曲线方面取得改进。

    Oct, 2023

  • 使用特征多样性对抗攻击变形器

    提出了一种用于 Vision Transformer 模型的无标签白盒攻击方法，该方法在各种黑盒模型之间表现出较强的迁移性，包括大多数 Vision Transformer 变体、CNN 和 MLP，甚至是针对其他模态开发的模型。攻击的灵感来自于 Vision Transformer 中的特征重叠现象，其中关键的注意力机制过度依赖于特征的低频成分，导致中 - 末层的特征趋向相似并最终崩塌。提出的特征多样性攻击者可以自然加速这一过程，达到卓越的性能和可转移性。

    Mar, 2024

  • 关于图像恢复任务中 Transformer 的不合理脆弱性及其简单修复方法

    通过对图像修复任务中的 Vision Transformers（ViTs）进行实验，发现其在对抗性攻击方面的性能较差，通过对 Restormer 等模型进行对抗性训练可以提高鲁棒性。

    Jul, 2023

  • 提升视觉 Transformer 的对抗传递性

    本研究通过提出两种攻击策略，Self-Ensemble 和 Token Refinement，充分利用了 Vision Transformers 的自注意力和组合性质来增强对抗攻击的传递性能。

    Jun, 2021

  • 当视觉 Transformer 在没有预训练或强数据增强的情况下优于 ResNets

    本文将 ViTs 和 MLP-Mixers 从损失几何的角度进行研究，旨在提高模型的数据效率和推理泛化能力，并通过锐度感知优化器来促进平滑性，以在包括有监督学习、对抗学习、对比学习和迁移学习在内的各种任务上显着提高 ViTs 和 MLP-Mixers 的准确性和鲁棒性。

    Jun, 2021

  • 训练鲁棒性视觉 Transformer 的轻量级配方

    本文研究使用 Vision Transformers 架构在对抗训练中对抗外部攻击的鲁棒性问题，并使用 ImageNet 数据集的子集进行严格的消融研究，找到了一种改进后的训练方法，可以在不使用强数据增强的情况下提高模型的性能和识别鲁棒性。

    Sep, 2022

  • 关于视觉 Transformer 的对抗鲁棒性

    本文对视觉 Transformer（ViT）的抗干扰性进行了全面的研究，发现相比于 MLP-Mixer 和卷积神经网络（CNNs），ViTs 拥有更好的对抗性鲁棒性。经过频率分析和特征可视化，发现 ViTs 所学习的特征中包含的高频模式较少，这有助于解释为什么 ViTs 对高频扰动较不敏感，并且现代 CNN 设计可以帮助填补 ViTs 和 CNNs 表现的差距。

    Mar, 2021