分类器对抗性攻击鲁棒性的正式保证

NIPSMay, 2017

分类器对抗性攻击鲁棒性的正式保证

Formal Guarantees on the Robustness of a Classifier against Adversarial Manipulation

Matthias Hein, Maksym Andriushchenko

TL;DR该研究针对分类器的脆弱性进行讨论，提出 Cross-Lipschitz 正则化函数可提高分类器对抗攻击的鲁棒性，并给出了实例具体的下界。在不影响分类性能的情况下，使用该正则化函数可以提高核方法和神经网络的鲁棒性。

Abstract

Recent work has shown that state-of-the-art classifiers are quite brittle, in the sense that a small adversarial change of an originally with high confidence correctly classified input leads to a wrong classification again with high confidence. This raises concerns that such classifiers are vulnerable to attacks and calls into question their usage in safety-

adversarial attacks classifier robustness cross-lipschitz regularization kernel methods neural networks

发现论文，激发创造

通过动态边距最大化和改进的 Lipschitz 正则化实现的认证鲁棒性

通过开发一个鲁棒的训练算法和有效计算神经网络的 Lipschitz 常数的方法，可以直接操控输入空间的决策边界，提高深度分类器对抗性扰动的鲁棒性。在 MNIST、CIFAR-10 和 Tiny-ImageNet 数据集上的实验证实了该算法的竞争性改进。

Sep, 2023

随机分类器对抗性样本的鲁棒性

本文研究了对抗攻击的鲁棒性理论，聚焦于随机化分类器并通过统计学习理论和信息论提供了其行为的彻底分析。我们引入了随机化分类器的新鲁棒性概念，在此基础上进行了两项新的贡献：提出了一种新的随机化分类器对抗泛化间隙的上界限和对其进行了一种简单而有效的噪声注入方法来设计鲁棒的随机化分类器。我们还在 CIFAR-10 和 CIFAR-100 标准图像数据集上使用深度神经网络的实验结果证实了我们的发现。

Feb, 2021

对于随机平滑分类器的严格对抗鲁棒性证明

采用输入随机化生成的分类器的集合可以具有很强的鲁棒性，该方法可扩展到更广泛的分布，特别是在离散情况下保证敌对的鲁棒性，并给出了相应的算法，此外，该研究有助于通过假设分类器的函数类来提高保证，并且具有图像和分子数据集上的实际应用。

Jun, 2019

任何分类器的对抗性易受攻击性

本文研究了对抗扰动现象，并推导了任何分类函数的鲁棒性的基本上界，以及证明了存在跨不同分类器传递的具有小风险的对抗扰动。研究显示了生成模型的关键属性，如平滑性和潜在空间的维度，并提供了信息量大的鲁棒性基线。

Feb, 2018

CC-Cert: 一种概率方法来证明神经网络的普适鲁棒性

本文提出了一种基于 Chernoff-Cramer Bounds 的新型通用概率认证方法，可以用于对抗性攻击环境下的机器学习应用。实验结果支持了我们的理论发现，证明了我们的方法对于语义扰动具有防御能力。

Sep, 2021

Lipschitz-Margin 训练：深度神经网络扰动不变的可扩展认证

针对神经网络模型在输入数据遭到恶意篡改时的高敏感度，提出一种能够证明防御网络免受攻击的模型的构建方法，通过计算 Lipschitz 常数与预测边界之间的关系，提出一种计算有效的对不同的复杂网络广泛适用的鉴别器大小的方法，并提出一种有效的训练程序，提高数据点周围可证明的保护区域和网络的鲁棒性。

Feb, 2018

利普希茨正则化深度神经网络的泛化性能和防御对抗攻击能力

本文研究了深度神经网络的输入梯度正则化，并证明了这种正则化可以导致泛化证明和改进的对抗性稳健性。通过将对抗训练与 Lipschitz 正则化相结合，可以使模型更加稳健，并且可以使用图像的梯度范数进行攻击检测。

Aug, 2018

曲率正则化带来的鲁棒性及其相反情况

本文研究了对抗训练对分类景观和决策边界几何形态的影响，展示了对抗训练导致的输入空间曲率减少及网络更 “线性” 行为的结果。我们提出一个直接最小化损失面曲率的新的规则化方法，并提供了理论上的证据表明大鲁棒性与小曲率之间存在强关联。

Nov, 2018

对抗性样本的代价敏感强健性

本文研究了在实际应用中，某些对抗变换的重要性可能比其他变换更高的情况下，如何衡量分类器在对抗干扰下的鲁棒性，并提出了一般性的目标函数，将 Wong 和 Kolter（2018）的鲁棒训练方法进行了改进。通过实验证明，所提出的方法可以显著降低成本敏感鲁棒错误，同时保持分类准确性。

Oct, 2018

对抗鲁棒性泛化需要更多数据

本文研究在简单自然数据模型中，对抗鲁棒学习的样本复杂度可以显著大于标准学习，这个差距是信息理论的，且与训练算法或模型家族无关。作者做了一些实验来证实这个结果。我们可以假设训练鲁棒分类器的困难，至少部分来自这种固有的更大的样本复杂度。

Apr, 2018