CVPRMar, 2022

基于 Vision Transformer 的实用可验证补丁防御

PDF
TL;DR利用 Vision Transformer 结合 Derandomized Smoothing 进行逐步平滑的图像建模任务来训练并提高证明补丁防御机制的可证准确性，同时重构了原始的 ViT 的全局自注意结构以适用于在实际世界中的高效推理和部署。在 ImageNet 数据集上，在 2% 区域补丁攻击下，本文方法达到 41.70% 的证明准确度，比之前最佳方法高出近 1 倍（26.00%）。同时，本方法达到了 78.58% 的干净准确度，接近正常 ResNet-101 的准确度，并在 CIFAR-10 和 ImageNet 上实现最先进的干净和证明准确度。
patch attackscertifiable patch defensevision transformerderandomized smoothingcertified accuracy
发现论文，激发创造
  • 平滑视觉变换器下的认证补丁鲁棒性

    本文探讨使用视觉变换器在不引起重大标准准确度降低的情况下，显著提高认证补丁鲁棒性和计算效率的能力。

    Oct, 2021

  • ScaleCert：具有稀疏浅层的可扩展认证抵御对抗性补丁

    提出在高分辨率图像上实现高可证明鲁棒性的认证防御方法，减少敌对区域的搜索开销和过滤预测噪声，从而通过利用重要神经元的本地化性质增强了认证准确性。

    Oct, 2021

  • (去) 随机化平滑处理：针对补丁攻击的可证明防御

    本研究介绍了一种针对图像贴片对抗攻击的可证明防御方法，并通过对以往方法的比较，证明了该方法在 CIFAR-10 和 ImageNet 上能有效提高防御水平，是当前领先的防御方法之一。

    Feb, 2020

  • Vision Transformer 对补丁扰动具有鲁棒性吗？

    该论文基于自然污染和对抗攻击的影响，研究了视觉变压器（ViT）和卷积神经网络（CNN）在图像分类中的表现，发现 ViTs 对自然污染更具鲁棒性，但易受对抗性攻击，然后提出了一种简单的基于温度缩放的方法来提高 ViT 对对抗性攻击的鲁棒性。

    Nov, 2021

  • 针对图像分类器补丁攻击的高效认证防御

    本文提出了 BagCert 架构和认证程序，通过一种新的损失函数实现认证不同大小和位置的对抗破坏，并在 CIFAR10 数据集上取得了对 5x5 对抗破坏下 86% 的准确率和 60% 的认证准确率。

    Feb, 2021

  • Patch-Fool：Vision Transformer 是否总是对对抗性扰动具有稳健性？

    本论文探讨了 ViTs 和 CNNs 在面对各种对抗攻击时的鲁棒性及其背后的因素，提出了一种名为 Patch-Fool 的攻击框架，通过对单个 patch 进行一系列 attention-aware 优化技术的攻击来愚弄其 self-attention 机制，并发现在 Patch-Fool 攻击下，ViTs 不一定比 CNNs 更具鲁棒性。

    Mar, 2022

  • 查询高效的硬标签黑盒攻击视觉变换器

    本文研究视觉变换器（ViTs）在黑盒情况下对抗性攻击的脆弱性，并提出了一种名为 AdvViT 的新型查询高效的硬标签对抗性攻击方法，通过优化各个图像块的对抗扰动来降低扰动搜索空间的维度，并设计了一个权重掩码矩阵来进一步优化整个图像不同区域的扰动。实验结果表明，与对卷积神经网络的最新攻击相比，我们的 AdvViT 在相同查询预算下具有较低的 L2 范数扭曲，充分验证了 ViTs 在对抗性攻击下的脆弱性。

    Jun, 2024

  • PatchCleanser： 针对任何图像分类器的对抗性贴片确保鲁棒性防御

    PatchCleanser 是一种用于抵御基于物理世界中对受害对象打印和附加补丁的对抗性攻击的、在图片上执行的像素遮蔽的、适用于各种先进的图片分类器以实现高精度的、具有认证稳健性的防御方法。此方法可以证明在某些图像上永远预测正确的类别标签，同时较之前的工作显着提高了认证稳健性。

    Aug, 2021

  • 对抗性贴片的认证防御

    本文介绍了对抗补丁攻击的认证和经验性防御措施，其中首次提出了认证防御措施，并实验了不同补丁形状的测试，获得了出人意料的良好的鲁棒性转移。

    Mar, 2020

  • 针对自监督视觉变换器的补丁级别表示学习

    本文设计了一种称为 SelfPatch 的简单而有效的视觉预训练任务，利用 ViT 的特性，在无需人工注释的情况下提高不同类型视觉任务的性能，通过训练神经网络对各种图像的无监督学习来实现。

    Jun, 2022