Jul, 2023

随机位置对抗性修复在视觉转换器中的应用

PDF
TL;DR通过使用类似 GAN 的结构，本文提出了一种新的方法生成对抗补丁，该补丁克服了与视觉 Transformer 进行线性投影的贴片完美对齐的约束，使得该补丁能够在视野内的任何位置发动定向攻击，并且无论是在数字环境还是在真实世界的情况下都表现出普遍攻击的有效性。
发现论文，激发创造
  • 针对优化位置的对抗性贴片的对抗训练

    提出了一种可通过物理方式应用于图像中的明显但具有对抗性的矩形贴片，并利用对抗训练的方式来增强深度神经网络对对抗贴片的鲁棒性，这种训练不会降低网络的分类准确率。

    May, 2020

  • 生成逼真的对抗补丁

    深度神经网络容易受到各种类型的对抗性样本的攻击，并且现有的对抗性修补方法通常生成的修补具有无意义的噪声或图案，本研究旨在生成真实视觉效果的对抗性修补以欺骗深度神经网络。通过在真实图像的邻域内限制修补的位置，优化位置的不相关性，并采用总变差损失和伽马变换以保留信息，生成的对抗性修补具有卓越的攻击性能，并且可以伪装成物理世界中的涂鸦或标志来欺骗深度模型，给深度神经网络应用带来重大威胁。

    Dec, 2023

  • 对抗性贴片

    提出了一种在现实世界中创建通用、强健和有目标的对抗图像贴片的方法，这些贴片可以被添加到场景中以攻击任何情况的图像分类器。

    Dec, 2017

  • TPatch: 一种触发的物理对抗性补丁

    提出了一种由声音信号触发的物理对抗性贴片 TPatch，其具有声物质注入攻击引入的设计失真，可以在正常情况下保持良性，但可以通过触发来启动隐藏、创造或改变攻击。通过基于内容的伪装方法和攻击韧性增强方法，我们提出了避免引起人类驾驶员怀疑并使攻击在真实世界中实用和强韧的方法。使用三种对象检测器（YOLO V3/V5 和 Faster R-CNN）和八种图像分类器对 TPatch 进行评估，这既在模拟环境中也在真实世界中表明了 TPatch 的有效性。我们还讨论了传感器、算法和系统级别的可能防御方法。

    Dec, 2023

  • 面向 Vision Transformers 的可迁移对抗攻击

    这篇论文提出了一种双重攻击框架，包括 PNA 攻击和 PatchOut 攻击，用于针对 ViTs 的结构进行特殊定制的对抗攻击，包括考虑补丁和自注意力，从而提高对抗样本的可转移性，实验证明，这种攻击方法可大大提高 ViTs 之间的可转移性，并结合现有的转移方法进行性能提升。

    Sep, 2021

  • SlowFormer：面向计算与能量效率的通用敌对修补攻击 —— 对推理高效视觉转换器的攻击

    近期，在深度模型的推断计算方面取得了很多进展，这些方法可以减少深度模型的计算需求和功耗。我们展示了这些模型容易受到普适性对抗贴片攻击的影响，攻击者通过优化一个贴片，将其粘贴到任意图像上可以增加模型的计算量和功耗。我们运行实验使用了三种不同的高效视觉转换器方法，显示在某些情况下，攻击者只需将一个只占图像面积的 8% 的贴片粘贴上即可将计算量增加到最大限度。同时我们还展示了标准对抗性训练防御方法可以减少攻击的成功率。我们相信为降低深度模型的功耗，未来需要采用自适应高效的方法，希望我们的论文可以鼓励研究人员研究这些方法的强韧性，并开发更好的防御方法来对抗这种攻击。

    Oct, 2023

  • Patch-Fool：Vision Transformer 是否总是对对抗性扰动具有稳健性？

    本论文探讨了 ViTs 和 CNNs 在面对各种对抗攻击时的鲁棒性及其背后的因素，提出了一种名为 Patch-Fool 的攻击框架，通过对单个 patch 进行一系列 attention-aware 优化技术的攻击来愚弄其 self-attention 机制，并发现在 Patch-Fool 攻击下，ViTs 不一定比 CNNs 更具鲁棒性。

    Mar, 2022

  • 隐形的贴片：自然黑盒对目标检测器的敌对攻击

    该研究提出一种基于生成对抗网络（GAN）图像流形和物理世界的无梯度攻击方法，用于生成自然物理的对抗贴片以欺骗对目标物体检测器的分类。结果表明，该方法在数字和物理场景下均有效。

    Mar, 2023

  • 用于逃避物体检测模型的动态对抗贴片

    该研究使用动态对抗性贴片攻击实际场景下的对象检测器，并通过生成考虑目标物品与分类之间的语义距离的贴片方法进行优化，成功地在广阔的视角范围内将 YOLOv2 对象检测器误导了 90％，并在不同汽车模型之间成功误导检测器 71％。

    Oct, 2020

  • 基于 Vision Transformer 的实用可验证补丁防御

    利用 Vision Transformer 结合 Derandomized Smoothing 进行逐步平滑的图像建模任务来训练并提高证明补丁防御机制的可证准确性，同时重构了原始的 ViT 的全局自注意结构以适用于在实际世界中的高效推理和部署。在 ImageNet 数据集上，在 2% 区域补丁攻击下，本文方法达到 41.70% 的证明准确度，比之前最佳方法高出近 1 倍（26.00%）。同时，本方法达到了 78.58% 的干净准确度，接近正常 ResNet-101 的准确度，并在 CIFAR-10 和 ImageNet 上实现最先进的干净和证明准确度。

    Mar, 2022