ICLRApr, 2020

通过稀疏多项式优化估计神经网络的 Lipschitz 常数

PDF
TL;DRLiPopt 是一种基于多项式优化的框架，用于计算神经网络李普希茨常数的逐渐收紧的上界，并利用网络的稀疏连接来显著降低计算复杂度，尤其适用于卷积和修剪神经网络。实验表明，相对于文献中的基准，该方法在随机权重网络和 MNIST 数据集上具有更好的估计性能，尤其是在∞-Lipschitz 常数的特定情况下。
发现论文，激发创造
  • 利用控制工具估计通用神经网络结构的利普希茨常数

    该论文以半定规划方法估计神经网络的 Lipschitz 常数，并通过动态规划递归来利用神经网络的级联结构，处理非线性激活函数、汇聚层和信号处理层。通过应用到不同的神经网络架构，展示了该方法的多功能性和计算优势。

    May, 2024

  • 深度神经网络的 Lipschitz 常数的高效准确估计

    本文提出了一种基于凸优化框架和半定规划的方法，用于计算 DNNs 的 Lipschitz 常数的保证上界，通过描述激活函数的性质，使得算法具有较高的准确性和可伸缩性，实验证明该方法的 Lipschitz 边界最准确，可用于有效提供稳健性保证。

    Jun, 2019

  • 深度神经网络的 Lipschitz 正则性：分析与高效估计

    本文提出了 AutoLip 和 SeqLip 两种神经网络架构方法的 Lipschitz 常数的自动上界估计算法，并探讨了这种算法在计算大型卷积和顺序神经网络时的使用情况和启发式技巧。我们提供了使用 PyTorch 环境的 AutoLip 实现，可以使用更精确的 Lipschitz 估计来更好地评估神经网络对小扰动的鲁棒性或进行正则化。

    May, 2018

  • 使用 Lipschitz 界限训练鲁棒神经网络

    通过设计一种基于交替方向乘子法的最优化方案来训练多层神经网络，同时鼓励通过保持其利普希茨常数来促进鲁棒性，从而解决基于输入的扰动的效应以及提高神经网络的鲁棒性。该文设计了两个训练程序，最终提供了两个例子来证明这种方法成功地提高了神经网络的鲁棒性。

    May, 2020

  • 利普希茨神经网络的统一代数学视角

    本文介绍了一种新的代数视角，统一了各种类型的 1-Lipschitz 神经网络，包括凸势层、次正交层、基于正交性和谱方法的方法等，并证明了 AOL 对缩放权重产生偏置，同时通过我们的 SDP Lipschitz 层方法，证明了 SLL 的有效性。

    Mar, 2023

  • 通过强制利普希茨连续性来正则化神经网络

    研究神经网络与输入的 Lipschitz 连续性约束，提供一种计算前馈神经网络 Lipschitz 常数上界的简单技术，进而以受限优化问题的形式训练神经网络并使用投影随机梯度方法求解，实验证明该方法优于其他常用规则化器，特别是在仅有少量训练数据时。

    Apr, 2018

  • 利普希茨有界深度神经网络的直接参数化

    本文介绍了一种新的深度神经网络参数化方法，具有保证的 Lipschitz 界限，即对扰动的敏感性有限。该参数化不需要计算密集的投影或障碍项并可以通过标准梯度方法进行训练，在图像分类（MNIST 和 CIFAR-10）等方面有着良好的应用。

    Jan, 2023

  • Lipschitz 有界平衡网络

    本研究提出了新的平衡神经网络参数化方法，该方法可以实现在训练期间的 Lipschitz bound 并提升强健性，并通过建立与凸优化、非欧几里得空间上的算子分裂和收缩神经微分方程的新连接来证明这些结果，在图像分类实验中表现出非常高的准确性和抵御对抗性攻击的能力。

    Oct, 2020

  • 深度神经网络的 Lipschitz 常数的组合估计

    通过将大型矩阵验证问题的确切分解为较小的子问题，我们提供了一种用于估计深度前馈神经网络的 Lipschitz 常数的组合方法。通过数值实验证明，我们的方法在计算时间上大大降低，同时产生的 Lipschitz 界限接近于最先进的方法。

    Apr, 2024

  • 神经网络的 Lipschitz 界分析

    本文提出了利用 Lipschitz Bound Estimation 保证深度神经网络对抗攻击鲁棒性的有效方法，并通过图形分析支持 CNN 获得非平凡 Lipschitz constant 的困难。同时，采用 Toeplitz 矩阵将 CNN 转换为完全连接的网络，并运用实验证明了在特定数据分布中实际 Lipschitz constant 与获得紧密界定之间存在的 20-50 倍的差距。针对不同网络架构在 MNIST 和 CIFAR-10 上进行全面实验和比较分析。

    Jul, 2022