近年来，深度神经网络模型在各个领域取得了许多进展，但是它们也开始在风险关键任务中使用。模型的误诊可能导致严重事故甚至死亡。这引起了研究人员对这些模型的攻击进行研究，发现了一长串的漏洞，所以每个模型都应该进行防护。对抗性示例攻击是研究人员中广为人知的一种攻击，他们已经开发了一些防御措施来避免这种威胁。然而，这些防御措施与深度神经网络模型一样晦涩难懂，其工作原理仍然未知。因此，通过可视化它们如何改变目标模型的行为对于更精确地理解防御模型的性能修改是有趣的。在这项工作中，选择了一些对抗性示例攻击的防御措施，并以可视化的方式显示了每个防御措施在防御模型中的行为变化。选择了对抗训练、降维和预测相似度作为防御措施，使用了由卷积神经网络层和全连接神经网络层组成的模型。在每个防御方案中，将原始模型的行为与防御模型的行为进行对比，并通过可视化图表来表示目标模型。

Feb, 2024

该文章提出了一种直接部署到标准深度神经网络模型中的简单方法，通过引入两个经典图像处理技术，标量量化和平滑空间滤波，将图像中的扰动降低到最小，使用图像熵作为度量标准，可以有效地检测出对基于多种攻击技术的先进深度学习模型的 20,000 多个对抗样本，最终的实验结果表明，该检测方法可以取得 96.39％的高整体 F1 评分。

May, 2017

研究深度神经网络面临的潜在安全威胁 —— 对抗性样本，这些输入看起来很正常，但会导致深度神经网络错误分类；发现通过正常的图像获取进程实现的小扰动可以消除对抗性样本造成的影响，从而抵消了潜在威胁。同时，已经广泛使用的多次裁剪平均处理和正常预处理也可以在很大程度上消除对抗性样本。因此，该研究认为在文本分类中，对抗性样本仅仅是学术上的好奇现象，而非安全威胁。

Oct, 2016

研究表明，即使没有内部知识，对深度卷积神经网络进行黑盒攻击并制造对抗性样本是可行的，这暴露了深度神经网络的弱点，为设计安全的网络提供了检验。

Dec, 2016

机器学习模型因神经网络的线性特性容易受到对抗性扰动的影响，该现象不同于过拟合和非线性，但可以通过生成对抗性训练样本来减小 MNIST 数据集中 maxout 网络的误差。

Dec, 2014

本文研究深度学习中的对抗样本问题，总结了生成对抗样本的方法，提出了对抗样本的应用分类，并探讨了对抗样本的攻击和防御策略以及面临的挑战和潜在解决方案。

Dec, 2017

该研究提出了一种新的对抗样本攻击方法，考虑到人类感知系统并最大化制作的对抗样本的噪声容忍度，实验结果证明了该技术的有效性。

Jan, 2018

医学深度学习系统可以被巧妙地构造对抗性例子攻击破坏，难以在实际临床设置中应用，本文发现医学深度学习模型对于对抗攻击比对自然图像模型更脆弱，但医学对抗攻击可以通过简单的检测器容易检测出来，这些发现可作为更可解释和安全的医学深度学习系统设计的依据。

Jul, 2019

本文介绍了一种新的端到端框架来检测深度神经网络中可能存在的对抗样本，采用神经元覆盖率引导测试来分析 DNN 的密集层激活模式，以实现实时检测，能够覆盖各种类型的 DNN 架构，包括 LSTM，防御了最先进的攻击，同时提供确保无法轻易绕过的白盒自适应攻击。

Nov, 2019

本文介绍了一种利用深度学习神经网络中 Bayesian 不确定性估计和密度估计的方法，可以实现对于对抗样本的检测，具有很好的泛化性能，并在标准分类任务上取得了 85-93% 的 ROC-AUC 表现。

Mar, 2017