ICMLMay, 2023

通过 Gram 迭代方法高效计算卷积层的 Lipschitz 常数上界

PDF
TL;DR通过基于循环矩阵理论和 Gram 迭代的方法，提出了一种精确，快速，可微分的卷积层谱范数上界的估算方法，表现出超线性收敛特性，并可用于 Lipschitz 常数的正则化。实验表明，该方法在精度、计算成本和可扩展性等方面优于其他最先进的方法，并与并发方法具有竞争性的结果。
lipschitz constantneural networksspectral normcirculant matrix theorygram iteration
发现论文，激发创造
  • 卷积层的谱范数与循环和零填充

    该研究使用格拉姆迭代方法来计算具有上界保证的谱范数，并将其推广到圆形卷积层和零填充卷积层，证明了其二次收敛性。还提供了将圆形卷积和零填充卷积的谱范数联系起来的定理，并设计了一种光谱重缩放方法，用作增强网络鲁棒性的竞争性 1-Lipschitz 层。通过实验证明，我们的方法在精确性、计算成本和可扩展性方面优于最先进的技术。

    Jan, 2024

  • 奇幻四侠：卷积层奇异值的可微界限

    本论文提出通过四个可导且计算速度高的界来计算二维卷积层的谱范数并将四个界的最小值作为卷积层谱范数的紧致可导下界，在 MNIST 和 CIFAR-10 上实验并证明其有效提高了深度网络的泛化性和鲁棒性。

    Nov, 2019

  • 关于卷积神经网络 Lipschitz 界的研究

    本文介绍一个可以估算 CNN 网络的 Lipschitz bound 的线性程序，并使用其测量特性分离的非线性判别分析。

    Aug, 2018

  • 神经网络的 Lipschitz 界分析

    本文提出了利用 Lipschitz Bound Estimation 保证深度神经网络对抗攻击鲁棒性的有效方法，并通过图形分析支持 CNN 获得非平凡 Lipschitz constant 的困难。同时，采用 Toeplitz 矩阵将 CNN 转换为完全连接的网络，并运用实验证明了在特定数据分布中实际 Lipschitz constant 与获得紧密界定之间存在的 20-50 倍的差距。针对不同网络架构在 MNIST 和 CIFAR-10 上进行全面实验和比较分析。

    Jul, 2022

  • 通过强制利普希茨连续性来正则化神经网络

    研究神经网络与输入的 Lipschitz 连续性约束，提供一种计算前馈神经网络 Lipschitz 常数上界的简单技术，进而以受限优化问题的形式训练神经网络并使用投影随机梯度方法求解，实验证明该方法优于其他常用规则化器，特别是在仅有少量训练数据时。

    Apr, 2018

  • Lipschitz 约束卷积神经网络中梯度消失的预防

    通过 Block Convolution 正交参数化的方法，我们可以训练具有可证明的 Lipschitz 界限的大型卷积神经网络，其表现与现有方法相当，实用性强。

    Nov, 2019

  • 深度神经网络的 Lipschitz 正则性：分析与高效估计

    本文提出了 AutoLip 和 SeqLip 两种神经网络架构方法的 Lipschitz 常数的自动上界估计算法，并探讨了这种算法在计算大型卷积和顺序神经网络时的使用情况和启发式技巧。我们提供了使用 PyTorch 环境的 AutoLip 实现，可以使用更精确的 Lipschitz 估计来更好地评估神经网络对小扰动的鲁棒性或进行正则化。

    May, 2018

  • 利用控制工具估计通用神经网络结构的利普希茨常数

    该论文以半定规划方法估计神经网络的 Lipschitz 常数，并通过动态规划递归来利用神经网络的级联结构，处理非线性激活函数、汇聚层和信号处理层。通过应用到不同的神经网络架构，展示了该方法的多功能性和计算优势。

    May, 2024

  • 生成模型的可证明利普希茨证书

    提出了一种可扩展的技术，用于上界生成模型的 Lipschitz 常数，该方法使用 zonotope 对可达向量雅可比积的集合进行逐层凸逼近来近似该数量，扩展到具有较大输出维度的神经网络的 Lipschitz 估计，为小网络提供有效和紧密的边界，并可用于采用 VAE 和 DCGAN 结构的生成模型。

    Jul, 2021

  • 深度卷积网络的 Lipschitz 属性

    本文讨论卷积神经网络的稳定性，以及基于 Lipschitz 性质的特征提取和分类方法，计算了 Lipschitz 边界并将其值与其他方法进行了比较，验证了 Lipschitz 边界计算方法的优越性。

    Jan, 2017