SlowFormer：面向计算与能量效率的通用敌对修补攻击 —— 对推理高效视觉转换器的攻击

Oct, 2023

SlowFormer：面向计算与能量效率的通用敌对修补攻击 —— 对推理高效视觉转换器的攻击

SlowFormer: Universal Adversarial Patch for Attack on Compute and Energy Efficiency of Inference Efficient Vision Transformers

PDF

KL Navaneet, Soroush Abbasi Koohpayegani, Essam Sleiman, Hamed Pirsiavash

TL;DR近期，在深度模型的推断计算方面取得了很多进展，这些方法可以减少深度模型的计算需求和功耗。我们展示了这些模型容易受到普适性对抗贴片攻击的影响，攻击者通过优化一个贴片，将其粘贴到任意图像上可以增加模型的计算量和功耗。我们运行实验使用了三种不同的高效视觉转换器方法，显示在某些情况下，攻击者只需将一个只占图像面积的 8% 的贴片粘贴上即可将计算量增加到最大限度。同时我们还展示了标准对抗性训练防御方法可以减少攻击的成功率。我们相信为降低深度模型的功耗，未来需要采用自适应高效的方法，希望我们的论文可以鼓励研究人员研究这些方法的强韧性，并开发更好的防御方法来对抗这种攻击。

Abstract

Recently, there has been a lot of progress in reducing the computation of deep models at inference time. These methods can reduce both the computational needs and power usage of deep models. Some of these approaches adaptively scale the compute based on the input instance. We show that such models can be vulnerable to a →

computation reduction power usage reduction universal adversarial patch attack efficient vision transformer methods adversarial training defense

发现论文，激发创造

随机位置对抗性修复在视觉转换器中的应用

通过使用类似 GAN 的结构，本文提出了一种新的方法生成对抗补丁，该补丁克服了与视觉 Transformer 进行线性投影的贴片完美对齐的约束，使得该补丁能够在视野内的任何位置发动定向攻击，并且无论是在数字环境还是在真实世界的情况下都表现出普遍攻击的有效性。

Jul, 2023

高效视觉 Transformer 的 Patch Slimming

该论文通过挖掘网络中的冗余计算研究视觉变换器的效率问题，并提出了一种新颖的修剪方法来减少计算成本，该方法称为修剪补丁法，可以移除无用的补丁，从而显著降低模型的计算成本，而不会影响模型的性能。

Jun, 2021

元对抗训练对抗万能贴

使用 meta adversarial training (MAT) 针对基于图像的反攻击 (adversarial attacks) 进行训练，该模型能够显著提高模型对于通用补丁 (universal patch) 的鲁棒性，并且在图像分类和交通信号灯检测方面具有广泛的应用。

Jan, 2021

提高目标检测和分类 AI 模型对抗性贴纸攻击的鲁棒性

我们分析了攻击技术并提出了一种强大的防御方法，通过利用对象的形状、纹理和位置，成功降低了 20% 以上的模型置信度。利用修复预处理技术，有效地恢复了原始的置信水平，展示了强大防御在减轻这些威胁中的重要性。我们的修复防御方法在仿真像素化的基于补丁的物理对抗攻击中显著提高了模型的韧性，实现了高精度和可靠的定位，尽管受到了对抗性攻击。这项工作推动了对抗挑战中对象检测和分类网络的韧性和可靠性的发展，并为关键应用提供了强大的基础。

Mar, 2024

高效决策型黑盒补丁攻击

本文提出了一种增强的基于对抗样本攻击方式，并探索了不依赖于网络输出数量的决策性基于修补程序的攻击方法，使用称为 DevoPatch 的差分进化算法。实验证明 DevoPatch 优于现有方法，在给定查询预算内攻击成功率更高。

Jul, 2023

物理世界中跨模态攻击的统一对抗贴片

本文提出了一种跨模态物理攻击方法，在物理世界中通过统一的对抗性贴片欺骗可见光和红外物体探测器，在考虑到不同成像机制的情况下，通过设计新型的边界受限形状优化和考虑得分的迭代评估，成功地减少了多模式传感器的预测得分。

Jul, 2023

DOEPatch: 动态优化的集成模型用于生成对抗图像贴片

通过将能量引入到对抗补丁生成过程中，本文介绍了如何最小化 “人” 类别的总能量，以生成针对多个目标模型输出的对抗补丁。通过采用对抗训练，将动态优化的集成模型构建为在生成的对抗补丁能够有效攻击所有目标模型的平衡点上调整被攻击目标模型的权重参数，实现了更强的攻击潜力。

Dec, 2023

针对图像分类器补丁攻击的高效认证防御

本文提出了 BagCert 架构和认证程序，通过一种新的损失函数实现认证不同大小和位置的对抗破坏，并在 CIFAR10 数据集上取得了对 5x5 对抗破坏下 86% 的准确率和 60% 的认证准确率。

Feb, 2021

物体隐藏器：面向物体检测器的对抗性贴片攻击

该研究关注深度神经网络的安全性问题，着重研究针对目标检测算法的对抗攻击方法，通过生成特定的对抗补丁实现攻击，提出的两种算法均可有效地、通用地攻击最新的目标检测模型。此外，参加了阿里巴巴的天池对抗挑战，并在 1701 对抗团队中获得了前七名。

Oct, 2020

对抗性贴片的认证防御

本文介绍了对抗补丁攻击的认证和经验性防御措施，其中首次提出了认证防御措施，并实验了不同补丁形状的测试，获得了出人意料的良好的鲁棒性转移。

Mar, 2020