本文提出了利用 Lipschitz Bound Estimation 保证深度神经网络对抗攻击鲁棒性的有效方法，并通过图形分析支持 CNN 获得非平凡 Lipschitz constant 的困难。同时，采用 Toeplitz 矩阵将 CNN 转换为完全连接的网络，并运用实验证明了在特定数据分布中实际 Lipschitz constant 与获得紧密界定之间存在的 20-50 倍的差距。针对不同网络架构在 MNIST 和 CIFAR-10 上进行全面实验和比较分析。

Jul, 2022

我们研究和提出了一个新颖的针对 bi-Lipschitzness 的框架，该框架可以基于凸神经网络和 Legendre-Fenchel 对偶性实现对常数的直接和简单控制，并通过具体实验展示了其期望的性质。我们还将该框架应用于不确定性估计和单调问题设置，以展示其广泛的应用范围。

Apr, 2024

本文介绍了一种新的深度神经网络参数化方法，具有保证的 Lipschitz 界限，即对扰动的敏感性有限。该参数化不需要计算密集的投影或障碍项并可以通过标准梯度方法进行训练，在图像分类（MNIST 和 CIFAR-10）等方面有着良好的应用。

Jan, 2023

该研究利用深度强化学习探讨了鲁棒策略网络的优势，通过分析其在振荡摆和 Atari Pong 等问题上的实证性能和稳健性，证明了具有小 Lipschitz 界限的策略网络相比由普通多层感知机或卷积神经网络组成的无约束策略在扰动、随机噪声和有针对性的对抗攻击方面更加稳健。此外，研究还发现选择一个具有非保守的 Lipschitz 界限和具有表达力的非线性层结构的策略参数化方法可以更好地平衡性能和稳健性的权衡，优于现有基于谱标准化的最新方法。

May, 2024

本文介绍一个可以估算 CNN 网络的 Lipschitz bound 的线性程序，并使用其测量特性分离的非线性判别分析。

Aug, 2018

该论文介绍了一种新的双 Lipschitz 可逆神经网络（BiLipNet），它能够控制其 Lipschitz 性（输出对输入扰动的敏感性）和逆 Lipschitz 性（对不同输出的输入可辨识性）。主要贡献是一种具有强单调性和 Lipschitz 性的新型可逆残差层，我们将其与正交层组合以构建双 Lipschitz 网络。认证基于增量二次约束，与谱归一化相比，能够实现更紧的边界。此外，我们将模型逆计算形式化为一个三运算符分裂问题，已知存在快速算法。基于所提出的双 Lipschitz 网络，我们引入了一种新的标量输出网络（PLNet），它满足 Polyak-Łojasiewicz 条件。它可应用于学习具有有利性质的非凸代理损失函数，例如，具有唯一的和高效计算的全局最小值。

Feb, 2024

本研究通过连续时间动力系统的视角，提出了一种通用方法以构建 1-Lipschitz 神经网络，并证明了之前的一些方法是该框架的特殊情况。实验表明，该方法在几种数据集上具有可扩展性和作为 l2 检测攻击的优点。

Oct, 2021

通过设计一种基于交替方向乘子法的最优化方案来训练多层神经网络，同时鼓励通过保持其利普希茨常数来促进鲁棒性，从而解决基于输入的扰动的效应以及提高神经网络的鲁棒性。该文设计了两个训练程序，最终提供了两个例子来证明这种方法成功地提高了神经网络的鲁棒性。

May, 2020

该论文以半定规划方法估计神经网络的 Lipschitz 常数，并通过动态规划递归来利用神经网络的级联结构，处理非线性激活函数、汇聚层和信号处理层。通过应用到不同的神经网络架构，展示了该方法的多功能性和计算优势。

May, 2024

本文提出了一种基于凸优化框架和半定规划的方法，用于计算 DNNs 的 Lipschitz 常数的保证上界，通过描述激活函数的性质，使得算法具有较高的准确性和可伸缩性，实验证明该方法的 Lipschitz 边界最准确，可用于有效提供稳健性保证。

Jun, 2019