Lipschitz-Margin 训练：深度神经网络扰动不变的可扩展认证

NIPSFeb, 2018

Lipschitz-Margin 训练：深度神经网络扰动不变的可扩展认证

Lipschitz-Margin Training: Scalable Certification of Perturbation Invariance for Deep Neural Networks

Yusuke Tsuzuku, Issei Sato, Masashi Sugiyama

TL;DR针对神经网络模型在输入数据遭到恶意篡改时的高敏感度，提出一种能够证明防御网络免受攻击的模型的构建方法，通过计算 Lipschitz 常数与预测边界之间的关系，提出一种计算有效的对不同的复杂网络广泛适用的鉴别器大小的方法，并提出一种有效的训练程序，提高数据点周围可证明的保护区域和网络的鲁棒性。

Abstract

High sensitivity of neural networks against malicious perturbations on inputs causes security concerns. To take a steady step towards robust classifiers, we aim to create neural network models provably defended f

neural networks adversarial perturbations robust classifiers lipschitz constants provably guarded areas

发现论文，激发创造

通过动态边距最大化和改进的 Lipschitz 正则化实现的认证鲁棒性

通过开发一个鲁棒的训练算法和有效计算神经网络的 Lipschitz 常数的方法，可以直接操控输入空间的决策边界，提高深度分类器对抗性扰动的鲁棒性。在 MNIST、CIFAR-10 和 Tiny-ImageNet 数据集上的实验证实了该算法的竞争性改进。

Sep, 2023

使用 Lipschitz 界限训练鲁棒神经网络

通过设计一种基于交替方向乘子法的最优化方案来训练多层神经网络，同时鼓励通过保持其利普希茨常数来促进鲁棒性，从而解决基于输入的扰动的效应以及提高神经网络的鲁棒性。该文设计了两个训练程序，最终提供了两个例子来证明这种方法成功地提高了神经网络的鲁棒性。

May, 2020

CC-Cert: 一种概率方法来证明神经网络的普适鲁棒性

本文提出了一种基于 Chernoff-Cramer Bounds 的新型通用概率认证方法，可以用于对抗性攻击环境下的机器学习应用。实验结果支持了我们的理论发现，证明了我们的方法对于语义扰动具有防御能力。

Sep, 2021

基于数据驱动的利普希茨连续性：提高对抗鲁棒性的成本有效方法

通过探究 Lipschitz 连续性的概念，该研究提出了一种理论基础和实用解决方案来确保深度神经网络的可靠性，以对抗敌对攻击，在输入中添加几乎不可察觉的扰动来误导网络。我们提出了一种新的算法，将输入域重新映射到受限范围内，减小 Lipschitz 常数，从而提高鲁棒性。与现有的反对抗性训练模型不同，我们的方法几乎没有成本，可以与现有模型集成而无需重新训练。实验结果表明，我们的方法的普适性，可以与各种模型结合，实现鲁棒性的增强。此外，我们的方法在 RobustBench 排行榜上为 CIFAR10、CIFAR100 和 ImageNet 数据集实现了最佳鲁棒准确度。

Jun, 2024

带有李普希茨连续性的鲁棒神经网络

本文针对神经网络的稳健性和稳定性问题，提出了一种通用的训练方法，旨在使现有的神经网络架构更能够适应输入的视觉扰动，该方法无需进行数据扩充或更改网络架构。通过现有的神经网络架构实验，理论证据和实证结果证明，当使用该方法进行训练时，模型性能会显著提高，尤其是在噪声数据存在的情况下。

Nov, 2018

使用具有 L-inf-dist 神经元的神经网络实现 L-infinity 鲁棒性认证

本文提出了一种新的神经网络设计方法，基于 L∞-dist neuron 进行构造，设计出的 L∞-dist 网络是个具有 1-Lipschitz 性质，可以提供理论保障的鲁棒性，并且具有足够的表达能力。通过实验，证明了该新型神经网络设计在 MNIST、CIFAR-10 以及 TinyImageNet 上均取得了目前最优秀的性能。

Feb, 2021

可证明的对抗性防御的扩展

本文提出了一种技术，能够将深度学习分类器的防御性能从较小的前馈神经网络拓展到更广泛的网络结构，同时采用非线性随机投影的方式进行训练，并通过级联模型进一步提高分类器的鲁棒性能。在 MNIST 和 CIFAR 数据集上进行实验，证明了该方法在可证明的抗干扰错误率上有着明显的提升。

May, 2018

使用高效的本地 Lipschitz 界限训练保证鲁棒神经网络

本文提出了一种训练算法插件，可以有效地减小神经网络的局部 Lipschitz 上界，以提高神经网络的自然精度和可证明的精度之间的权衡，并在 MNIST、CIFAR-10 和 TinyImageNet 数据集上展示了该方法在不同网络结构下均能优于现有的最先进方法。[Simplified Chinese]

Nov, 2021

关于随机神经网络的 Lipschitz 常数

神经网络对输入的微小敌对扰动非常敏感，该研究在随机 ReLU 神经网络（即权重随机选择并使用 ReLU 激活函数的神经网络）中研究了 Lipschitz 常数，并在浅层神经网络中表征了 Lipschitz 常数，而在足够宽的深层神经网络中证明了 Lipschitz 常数的上下界。这些边界在深度上存在对数因子的匹配。

Nov, 2023

深度神经网络的 Lipschitz 正则性：分析与高效估计

本文提出了 AutoLip 和 SeqLip 两种神经网络架构方法的 Lipschitz 常数的自动上界估计算法，并探讨了这种算法在计算大型卷积和顺序神经网络时的使用情况和启发式技巧。我们提供了使用 PyTorch 环境的 AutoLip 实现，可以使用更精确的 Lipschitz 估计来更好地评估神经网络对小扰动的鲁棒性或进行正则化。

May, 2018