本文提出了AutoLip和SeqLip两种神经网络架构方法的Lipschitz常数的自动上界估计算法，并探讨了这种算法在计算大型卷积和顺序神经网络时的使用情况和启发式技巧。我们提供了使用PyTorch环境的AutoLip实现，可以使用更精确的Lipschitz估计来更好地评估神经网络对小扰动的鲁棒性或进行正则化。

May, 2018

本文研究了神经网络的局部Lipschitz常数及其在鲁棒性、泛化性和公平性评估中的应用，提出将非光滑向量值函数的局部Lipschitz常数与广义Jacobian范数最大化相关联的新颖分析结果，并给出适用于广义Jacobian的反向传播的充分条件。同时，提出了一种算法来精确计算ReLU网络的Lipschitz常数，用于评价竞争Lipschitz估计量的紧密度和正则化训练对Lipschitz常数的影响。

Mar, 2020

本研究提出了新的平衡神经网络参数化方法，该方法可以实现在训练期间的Lipschitz bound并提升强健性, 并通过建立与凸优化、非欧几里得空间上的算子分裂和收缩神经微分方程的新连接来证明这些结果，在图像分类实验中表现出非常高的准确性和抵御对抗性攻击的能力。

Oct, 2020

本研究通过连续时间动力系统的视角，提出了一种通用方法以构建1-Lipschitz神经网络，并证明了之前的一些方法是该框架的特殊情况。实验表明，该方法在几种数据集上具有可扩展性和作为l2检测攻击的优点。

Oct, 2021

本文提出了一种训练算法插件，可以有效地减小神经网络的局部Lipschitz上界，以提高神经网络的自然精度和可证明的精度之间的权衡，并在MNIST、CIFAR-10和TinyImageNet数据集上展示了该方法在不同网络结构下均能优于现有的最先进方法。[Simplified Chinese]

Nov, 2021

本文提出了利用Lipschitz Bound Estimation保证深度神经网络对抗攻击鲁棒性的有效方法，并通过图形分析支持CNN获得非平凡Lipschitz constant的困难。同时，采用Toeplitz矩阵将CNN转换为完全连接的网络，并运用实验证明了在特定数据分布中实际Lipschitz constant与获得紧密界定之间存在的20-50倍的差距。针对不同网络架构在MNIST和CIFAR-10上进行全面实验和比较分析。

Jul, 2022

通过开发一个鲁棒的训练算法和有效计算神经网络的Lipschitz常数的方法，可以直接操控输入空间的决策边界，提高深度分类器对抗性扰动的鲁棒性。在MNIST、CIFAR-10和Tiny-ImageNet数据集上的实验证实了该算法的竞争性改进。

Sep, 2023

神经网络对输入的微小敌对扰动非常敏感，该研究在随机ReLU神经网络（即权重随机选择并使用ReLU激活函数的神经网络）中研究了Lipschitz常数，并在浅层神经网络中表征了Lipschitz常数，而在足够宽的深层神经网络中证明了Lipschitz常数的上下界。这些边界在深度上存在对数因子的匹配。

Nov, 2023

通过引入一个分割大卷积块为多个小块的方法，本研究提出了一种加速卷积神经网络Lipschitz常数估计的方法，通过调整分割因子，可以平衡准确度和可伸缩性，并且在一系列实验中展示出比现有基准方法更好的可伸缩性和可比的准确度。

Mar, 2024

通过将大型矩阵验证问题的确切分解为较小的子问题，我们提供了一种用于估计深度前馈神经网络的Lipschitz常数的组合方法。通过数值实验证明，我们的方法在计算时间上大大降低，同时产生的Lipschitz界限接近于最先进的方法。

Apr, 2024