关于（统计）检测对抗样本的研究

Feb, 2017

关于（统计）检测对抗样本的研究

On the (Statistical) Detection of Adversarial Examples

Kathrin Grosse, Praveen Manoharan, Nicolas Papernot, Michael Backes, Patrick McDaniel

TL;DR本文研究如何检测机器学习中的对抗性样本，提出使用统计检验和模型增强的方法来识别对抗性样本，并参照多个数据集和对抗样本制作方法进行实验，结果表明统计学特性对于检测对抗性样本至关重要。

Abstract

machine learning (ML) models are applied in a variety of tasks such as network intrusion detection or Malware classification. Yet, these models are vulnerable to a class of malicious inputs known as adversarial examples

adversarial examples machine learning statistical tests outliers model augmentation

发现论文，激发创造

物理世界中的对抗样本

本文研究表明即使在物理世界的情境下，机器学习系统仍然容易受到敌对样本的攻击，并通过将手机摄像头获取的对抗性图像输入 ImageNet Inception 分类器，并测量系统的分类精度来证明了这一点。

Jul, 2016

现代机器学习中的对抗样本：一次回顾

本文对机器学习模型在视觉领域中面临的对抗性攻击和防御方法进行了广泛探讨，并讨论了不同攻击和防御方法的优点和缺点。旨在提供广泛的领域覆盖和机械进攻和防御机制的直观理解。

Nov, 2019

分析对可解释机器学习的敌对样本的影响

本文分析对文本分类问题中的解释模型造成的对抗攻击的影响，包括开发一个基于机器学习的分类模型，引入对抗性扰动来理解分类性能，并在攻击之前和之后分析和解释模型的可解释性。

Jul, 2023

对抗样本是噪声下测试误差的自然结果

该研究提供了实证和理论证据表明对抗鲁棒性和图像损坏鲁棒性研究项目之间存在紧密联系，从而建议未来的对抗性防御应该考虑评估它们的方法对分布转移的鲁棒性。

Jan, 2019

对抗性攻击如何干扰表面稳定准确的分类器

通过对高维度输入数据的实践系统进行观察，我们展示了对于那些容易构建的对抗性攻击及其对大多数模型的威胁性，以及随机扰动的鲁棒性同时易受影响的基本特性，证实了这一现象。然而，令人惊讶的是，即使对于分类器决策边界与训练和测试数据之间只有很小的边距，也很难通过随机取样的扰动来检测到对抗性示例，因此需要更严格的对抗性训练。

Sep, 2023

规模化对抗机器学习

将对抗训练应用于 ImageNet，并提出了如何将对抗训练成功扩展到大型模型和数据集的建议，发现对抗训练能增加对单步攻击方法的鲁棒性，单步攻击方法比多步攻击方法更难以传递，使其成为发动黑盒攻击的最佳选择。研究还揭示了 “标签泄漏” 效应，因为对抗样本构建过程使用真实标签，模型可以学习利用构建过程的规律，使经过对抗训练的模型在对抗示例上表现比正常示例更好。

Nov, 2016

神经网络策略的对抗性攻击

本研究研究了针对神经网络策略的对抗攻击，发现现有的对抗样本制作技术能够很好地降低训练策略的测试时间性能，并且一些小干扰就能引起显著性能下降。

Feb, 2017

通过异常检测在污染攻击中检测对抗训练样例

本文提出一种防御机制来弥补机器学习中数据毒化的影响，该机制基于离群值检测来检测所谓的最优攻击策略生成的对抗样本与真实样本之间的差异。

Feb, 2018

解释和利用对抗样本

机器学习模型因神经网络的线性特性容易受到对抗性扰动的影响，该现象不同于过拟合和非线性，但可以通过生成对抗性训练样本来减小 MNIST 数据集中 maxout 网络的误差。

Dec, 2014

深度学习中的对抗性示例：攻击与防御

本文研究深度学习中的对抗样本问题，总结了生成对抗样本的方法，提出了对抗样本的应用分类，并探讨了对抗样本的攻击和防御策略以及面临的挑战和潜在解决方案。

Dec, 2017