利用控制工具估计通用神经网络结构的利普希茨常数
研究神经网络与输入的Lipschitz连续性约束，提供一种计算前馈神经网络Lipschitz常数上界的简单技术，进而以受限优化问题的形式训练神经网络并使用投影随机梯度方法求解，实验证明该方法优于其他常用规则化器，特别是在仅有少量训练数据时。
Apr, 2018
本文提出了AutoLip和SeqLip两种神经网络架构方法的Lipschitz常数的自动上界估计算法，并探讨了这种算法在计算大型卷积和顺序神经网络时的使用情况和启发式技巧。我们提供了使用PyTorch环境的AutoLip实现，可以使用更精确的Lipschitz估计来更好地评估神经网络对小扰动的鲁棒性或进行正则化。
May, 2018
本文提出了一种基于凸优化框架和半定规划的方法，用于计算DNNs的Lipschitz常数的保证上界，通过描述激活函数的性质，使得算法具有较高的准确性和可伸缩性，实验证明该方法的Lipschitz边界最准确，可用于有效提供稳健性保证。
Jun, 2019
本文研究了神经网络的局部Lipschitz常数及其在鲁棒性、泛化性和公平性评估中的应用，提出将非光滑向量值函数的局部Lipschitz常数与广义Jacobian范数最大化相关联的新颖分析结果，并给出适用于广义Jacobian的反向传播的充分条件。同时，提出了一种算法来精确计算ReLU网络的Lipschitz常数，用于评价竞争Lipschitz估计量的紧密度和正则化训练对Lipschitz常数的影响。
Mar, 2020
LiPopt是一种基于多项式优化的框架，用于计算神经网络李普希茨常数的逐渐收紧的上界，并利用网络的稀疏连接来显著降低计算复杂度，尤其适用于卷积和修剪神经网络。实验表明，相对于文献中的基准，该方法在随机权重网络和MNIST数据集上具有更好的估计性能，尤其是在∞-Lipschitz常数的特定情况下。
Apr, 2020
本文提出了利用Lipschitz Bound Estimation保证深度神经网络对抗攻击鲁棒性的有效方法，并通过图形分析支持CNN获得非平凡Lipschitz constant的困难。同时，采用Toeplitz矩阵将CNN转换为完全连接的网络，并运用实验证明了在特定数据分布中实际Lipschitz constant与获得紧密界定之间存在的20-50倍的差距。针对不同网络架构在MNIST和CIFAR-10上进行全面实验和比较分析。
Jul, 2022
该论文主要研究采用整流线性单元（ReLUs）作为激活函数的前馈神经网络（FNNs）的局部利普希茨常数的计算，介绍了一种基于半定规划问题（SDP）和余问题的计算上界的方法，提出了一种模型简化方法并通过数值实例验证了这些方法的有效性。
Oct, 2023
通过引入一个分割大卷积块为多个小块的方法，本研究提出了一种加速卷积神经网络Lipschitz常数估计的方法，通过调整分割因子，可以平衡准确度和可伸缩性，并且在一系列实验中展示出比现有基准方法更好的可伸缩性和可比的准确度。
Mar, 2024
通过将大型矩阵验证问题的确切分解为较小的子问题，我们提供了一种用于估计深度前馈神经网络的Lipschitz常数的组合方法。通过数值实验证明，我们的方法在计算时间上大大降低，同时产生的Lipschitz界限接近于最先进的方法。
Apr, 2024
我们研究和提出了一个新颖的针对 bi-Lipschitzness 的框架，该框架可以基于凸神经网络和Legendre-Fenchel对偶性实现对常数的直接和简单控制，并通过具体实验展示了其期望的性质。我们还将该框架应用于不确定性估计和单调问题设置，以展示其广泛的应用范围。
Apr, 2024