利普希茨界和拉普拉斯平滑法可证明的鲁棒训练

Jun, 2020

利普希茨界和拉普拉斯平滑法可证明的鲁棒训练

Lipschitz Bounds and Provably Robust Training by Laplacian Smoothing

Vishaal Krishnan, Abed AlRahman Al Makdah, Fabio Pasqualetti

TL;DR本文提出了一个基于图的学习框架来训练在对抗扰动下具有稳健性的模型，并通过 Lipschitz 约束将对抗性稳健学习问题形式化为损失最小化问题，设计了一个稳健训练方案来收敛到拉格朗日函数的鞍点。最终通过实验表明，在达到期望的标准表现的同时提高模型的稳健性存在一定的基本下限。

Abstract

In this work we propose a graph-based learning framework to train models with provable robustness to adversarial perturbations. In contrast to regularization-based approaches, we formulate the adversarially robus

graph-based learning adversarial perturbations lipschitz constraint saddle point robust training

发现论文，激发创造

通过动态边距最大化和改进的 Lipschitz 正则化实现的认证鲁棒性

通过开发一个鲁棒的训练算法和有效计算神经网络的 Lipschitz 常数的方法，可以直接操控输入空间的决策边界，提高深度分类器对抗性扰动的鲁棒性。在 MNIST、CIFAR-10 和 Tiny-ImageNet 数据集上的实验证实了该算法的竞争性改进。

Sep, 2023

通过有原则的对抗训练证明一些分布鲁棒性

利用分布鲁棒优化的方式解决神经网络在对抗攻击下的鲁棒性问题，通过在 Wasserstein ball 内惩罚扰动数据分布的方式，通过我们提出的训练过程，能够实现对训练数据的最坏情况扰动而获得中等水平的健壮性，同时具有较小的计算和统计成本，并且我们的统计保证使我们能够有效地验证整体损失的健壮性，对于感知扰动，我们的方法与启发式方法相匹配或更好。

Oct, 2017

使用 Lipschitz 界限训练鲁棒神经网络

通过设计一种基于交替方向乘子法的最优化方案来训练多层神经网络，同时鼓励通过保持其利普希茨常数来促进鲁棒性，从而解决基于输入的扰动的效应以及提高神经网络的鲁棒性。该文设计了两个训练程序，最终提供了两个例子来证明这种方法成功地提高了神经网络的鲁棒性。

May, 2020

Lipschitz-Margin 训练：深度神经网络扰动不变的可扩展认证

针对神经网络模型在输入数据遭到恶意篡改时的高敏感度，提出一种能够证明防御网络免受攻击的模型的构建方法，通过计算 Lipschitz 常数与预测边界之间的关系，提出一种计算有效的对不同的复杂网络广泛适用的鉴别器大小的方法，并提出一种有效的训练程序，提高数据点周围可证明的保护区域和网络的鲁棒性。

Feb, 2018

使用带有铰链正则化的最优输运实现分类鲁棒性

利用最优传输的 Kantorovich- Rubinstein 对偶公式的铰链正则化版本，提出了一个新的框架来学习 1-Lipschitz 神经网络，并在此基础上进行分类。该方法能够提高网络的鲁棒性、具有可验证的鲁棒性边界，并在不降低准确度的前提下解决了这一问题。

Jun, 2020

关于对抗训练的泛化性质

本论文研究了一种泛用的对抗训练算法的泛化性能，并考虑了线性回归模型和两层神经网络（使用平方损失）在低维和高维情况下的表现，其中，我们发现数据内插会防止对抗性鲁棒估算器的一致性，因此，我们引入 L1 惩罚，在高维对抗学习中，证明了它可以导致一致的对抗性鲁棒估计。

Aug, 2020

半无限约束学习的对抗鲁棒性

本文通过半无限优化和非凸对偶理论的研究，证明对抗性训练等价于在扰动分布上的统计问题，并对此进行完整的表征。我们提出一种基于 Langevin Monte Carlo 的混合方法，可以缓解鲁棒性与标准性能之间的平衡问题，并取得了 MNIST 和 CIFAR-10 等领域最先进的结果。

Oct, 2021

训练健壮且具有通用性的量子模型

本文研究了基于 Lipschitz 界限的量子机器学习中的对抗鲁棒性和泛化性质，导出了适用于具有可训练编码的量子模型的定制参数相关的 Lipschitz 界限，并展示了数据编码的范数对于抵抗输入数据扰动的鲁棒性具有关键影响。此外，我们导出了一个关于泛化误差的界限，明确取决于数据编码的参数。我们的理论发现提供了一种实用的策略，即通过在代价函数中规范化 Lipschitz 界限来训练鲁棒且具有泛化能力的量子模型。此外，我们表明，对于在量子机器学习中经常使用的固定且不可训练的编码，Lipschitz 界限无法通过调整参数来影响。因此，在训练过程中，可训练编码对于系统地调整鲁棒性和泛化性是至关重要的。通过数值结果的验证，我们展示了 Lipschitz 界限的规范化显著提高了量子模型的鲁棒性和泛化能力。

Nov, 2023

对抗训练线性回归的正则化性质

最新机器学习模型存在脆弱性，而对抗训练是一种有效方法，本研究着重探究线性模型下的脆弱性，并对对抗训练在线性回归和其他正则化方法中的解决方案进行了比较分析。

Oct, 2023

广义 Lipschitz 正则化等于分布式健壮性

探讨关于对抗性样本的问题，提出一种基于运输成本不确定性集合的正则化方法，实现了对 Lipschitz 正则化模型的稳健性证明，揭示了对抗学习和分布鲁棒性之间的联系，并提供了对核分类器的 Lipschitz 正则化方法。

Feb, 2020