深度神经网络的 Lipschitz 常数的高效准确估计

Jun, 2019

深度神经网络的 Lipschitz 常数的高效准确估计

Efficient and Accurate Estimation of Lipschitz Constants for Deep Neural Networks

Mahyar Fazlyab, Alexander Robey, Hamed Hassani, Manfred Morari, George J. Pappas

TL;DR本文提出了一种基于凸优化框架和半定规划的方法，用于计算 DNNs 的 Lipschitz 常数的保证上界，通过描述激活函数的性质，使得算法具有较高的准确性和可伸缩性，实验证明该方法的 Lipschitz 边界最准确，可用于有效提供稳健性保证。

Abstract

Tight estimation of the lipschitz constant for deep neural networks (DNNs) is useful in many applications ranging from robustness certification of classifiers to stability analysis of closed-loop systems with rei

lipschitz constant deep neural networks convex optimization framework semidefinite program robustness guarantees

发现论文，激发创造

深度神经网络的 Lipschitz 常数的组合估计

通过将大型矩阵验证问题的确切分解为较小的子问题，我们提供了一种用于估计深度前馈神经网络的 Lipschitz 常数的组合方法。通过数值实验证明，我们的方法在计算时间上大大降低，同时产生的 Lipschitz 界限接近于最先进的方法。

Apr, 2024

利用控制工具估计通用神经网络结构的利普希茨常数

该论文以半定规划方法估计神经网络的 Lipschitz 常数，并通过动态规划递归来利用神经网络的级联结构，处理非线性激活函数、汇聚层和信号处理层。通过应用到不同的神经网络架构，展示了该方法的多功能性和计算优势。

May, 2024

深度神经网络的 Lipschitz 正则性：分析与高效估计

本文提出了 AutoLip 和 SeqLip 两种神经网络架构方法的 Lipschitz 常数的自动上界估计算法，并探讨了这种算法在计算大型卷积和顺序神经网络时的使用情况和启发式技巧。我们提供了使用 PyTorch 环境的 AutoLip 实现，可以使用更精确的 Lipschitz 估计来更好地评估神经网络对小扰动的鲁棒性或进行正则化。

May, 2018

使用 Lipschitz 界限训练鲁棒神经网络

通过设计一种基于交替方向乘子法的最优化方案来训练多层神经网络，同时鼓励通过保持其利普希茨常数来促进鲁棒性，从而解决基于输入的扰动的效应以及提高神经网络的鲁棒性。该文设计了两个训练程序，最终提供了两个例子来证明这种方法成功地提高了神经网络的鲁棒性。

May, 2020

神经网络的 Lipschitz 界分析

本文提出了利用 Lipschitz Bound Estimation 保证深度神经网络对抗攻击鲁棒性的有效方法，并通过图形分析支持 CNN 获得非平凡 Lipschitz constant 的困难。同时，采用 Toeplitz 矩阵将 CNN 转换为完全连接的网络，并运用实验证明了在特定数据分布中实际 Lipschitz constant 与获得紧密界定之间存在的 20-50 倍的差距。针对不同网络架构在 MNIST 和 CIFAR-10 上进行全面实验和比较分析。

Jul, 2022

卷积神经网络的可扩展利普希茨估计

通过引入一个分割大卷积块为多个小块的方法，本研究提出了一种加速卷积神经网络 Lipschitz 常数估计的方法，通过调整分割因子，可以平衡准确度和可伸缩性，并且在一系列实验中展示出比现有基准方法更好的可伸缩性和可比的准确度。

Mar, 2024

不剪辑的 DP-SGD：利普希茨神经网络之路

本文介绍利用限制 Lipschitz 常数的深度神经网络训练，通过对每层的参数进行 Lipschitz 常数约束来提供灵敏度边界，实现差分隐私以保证网络的私密性，在固定的隐私保证下最大化梯度与噪声之比，并提供 Python 包以实现构建和私人训练。

May, 2023

可训练激活函数和可控 Lipschitz 常数的深度神经网络

本研究提出了一种变分框架来学习深度神经网络的激活函数，旨在增加网络的容量并控制输入输出关系的 Lipschitz 常数的上界，其中引入了线性 Lipschitz 常数的全局界限和一个基于级联线性激活函数的无穷维度变分问题，通过在激活参数上实施 l1 约束来减少了问题的维度，从而获得了稀疏的非线性激活函数，并在标准 ReLU 网络及其变化 PReLU 和 LeakyReLU 上进行了实验验证。

Jan, 2020

通过稀疏多项式优化估计神经网络的 Lipschitz 常数

LiPopt 是一种基于多项式优化的框架，用于计算神经网络李普希茨常数的逐渐收紧的上界，并利用网络的稀疏连接来显著降低计算复杂度，尤其适用于卷积和修剪神经网络。实验表明，相对于文献中的基准，该方法在随机权重网络和 MNIST 数据集上具有更好的估计性能，尤其是在∞-Lipschitz 常数的特定情况下。

Apr, 2020

使用高效的本地 Lipschitz 界限训练保证鲁棒神经网络

本文提出了一种训练算法插件，可以有效地减小神经网络的局部 Lipschitz 上界，以提高神经网络的自然精度和可证明的精度之间的权衡，并在 MNIST、CIFAR-10 和 TinyImageNet 数据集上展示了该方法在不同网络结构下均能优于现有的最先进方法。[Simplified Chinese]

Nov, 2021