神经网络对输入的微小敌对扰动非常敏感，该研究在随机 ReLU 神经网络（即权重随机选择并使用 ReLU 激活函数的神经网络）中研究了 Lipschitz 常数，并在浅层神经网络中表征了 Lipschitz 常数，而在足够宽的深层神经网络中证明了 Lipschitz 常数的上下界。这些边界在深度上存在对数因子的匹配。

Nov, 2023

通过研究激活函数的角色，论文揭示了常用的激活函数以及两段式分段线性函数在表达函数时的局限性，并介绍了一种新的 N - 激活函数，证明其比目前流行的激活函数更具表达能力。

Nov, 2023

本文提出了一种训练算法插件，可以有效地减小神经网络的局部 Lipschitz 上界，以提高神经网络的自然精度和可证明的精度之间的权衡，并在 MNIST、CIFAR-10 和 TinyImageNet 数据集上展示了该方法在不同网络结构下均能优于现有的最先进方法。[Simplified Chinese]

Nov, 2021

本研究通过连续时间动力系统的视角，提出了一种通用方法以构建 1-Lipschitz 神经网络，并证明了之前的一些方法是该框架的特殊情况。实验表明，该方法在几种数据集上具有可扩展性和作为 l2 检测攻击的优点。

Oct, 2021

本文提出了一种基于凸优化框架和半定规划的方法，用于计算 DNNs 的 Lipschitz 常数的保证上界，通过描述激活函数的性质，使得算法具有较高的准确性和可伸缩性，实验证明该方法的 Lipschitz 边界最准确，可用于有效提供稳健性保证。

Jun, 2019

通过设计一种基于交替方向乘子法的最优化方案来训练多层神经网络，同时鼓励通过保持其利普希茨常数来促进鲁棒性，从而解决基于输入的扰动的效应以及提高神经网络的鲁棒性。该文设计了两个训练程序，最终提供了两个例子来证明这种方法成功地提高了神经网络的鲁棒性。

May, 2020

通过用布尔函数表示方法，研究证明了标准 Lipschitz 网络无法在有限数据集和 Lipschitz 函数逼近上进行鲁棒分类。提出了一种新的 Lipschitz 网络方法并通过实验验证了鲁棒性。

Oct, 2022

研究神经网络与输入的 Lipschitz 连续性约束，提供一种计算前馈神经网络 Lipschitz 常数上界的简单技术，进而以受限优化问题的形式训练神经网络并使用投影随机梯度方法求解，实验证明该方法优于其他常用规则化器，特别是在仅有少量训练数据时。

Apr, 2018

该论文以半定规划方法估计神经网络的 Lipschitz 常数，并通过动态规划递归来利用神经网络的级联结构，处理非线性激活函数、汇聚层和信号处理层。通过应用到不同的神经网络架构，展示了该方法的多功能性和计算优势。

May, 2024

通过将大型矩阵验证问题的确切分解为较小的子问题，我们提供了一种用于估计深度前馈神经网络的 Lipschitz 常数的组合方法。通过数值实验证明，我们的方法在计算时间上大大降低，同时产生的 Lipschitz 界限接近于最先进的方法。

Apr, 2024