深度网络的简单黑盒对抗扰动

Dec, 2016

Simple Black-Box Adversarial Perturbations for Deep Networks

Nina Narodytska, Shiva Prasad Kasiviswanathan

TL;DR研究表明，即使没有内部知识，对深度卷积神经网络进行黑盒攻击并制造对抗性样本是可行的，这暴露了深度神经网络的弱点，为设计安全的网络提供了检验。

Abstract

deep neural networks are powerful and popular learning models that achieve state-of-the-art pattern recognition performance on many computer vision, speech, and language processing tasks. However, these networks have also been shown susceptible to carefully crafted adversarial perturba

deep neural networks adversarial examples perturbation misclassification black-box

发现论文，激发创造

人脸识别领域中卷积神经网络的对抗性攻击

本文以 Fast Gradient Sign Method 为基础，对面部图像数据集进行扰动，测试不同黑盒攻击算法的鲁棒性，并重点研究修改单个最佳像素或所有像素的攻击方法。研究结果表明，所有像素攻击方法能使分类器置信度平均下降至 84％，且 81.6％的误分类率，但这些图像始终可以被人类识别。该研究可为防御性对抗攻击、自适应噪声降低技术等方面的 DNNs 训练和研究提供宝贵的参考。

Jan, 2020

使用对抗网络进行鲁棒性深度学习的直接方法

该论文提出了一种基于生成对抗网络 (GAN) 框架下的新防御机制来对抗黑盒攻击，在经验上表现良好并能与利用梯度下降的集成对抗训练和对抗训练等最先进的方法媲美。

May, 2019

通用对抗扰动：一次调查

本文研究深度学习中的普适性对抗扰动，探讨相关的数据驱动和数据无关的生成方法及防御技术，并讨论了普适性对抗扰动在各项深度学习任务中的应用。

May, 2020

计算机视觉中对抗攻击综述

深度神经网络被广泛用于各种下游任务，尤其是自动驾驶等安全关键场景，但深度网络常常受到对抗样本的威胁。对抗攻击可以分为白盒攻击和黑盒攻击，前者攻击者知道模型的参数和梯度，后者攻击者只能获取模型的输入和输出。攻击者的目的可以分为有目标攻击和非有目标攻击，黑盒设置是我们实践中会遇到的情况。

Aug, 2023

生成对抗扰动

该研究提出了新型生成模型，用于制造近似自然图像但又能欺骗先前训练好的模型的略微扰动的对抗性样本。通过在具有挑战性的高分辨率数据集上的实验，它证明了这种扰动具有高弄虚率和较小的扰动规模，并且比当前的迭代方法更快。