深度卷积网络的 Lipschitz 属性
本文提出了利用 Lipschitz Bound Estimation 保证深度神经网络对抗攻击鲁棒性的有效方法,并通过图形分析支持 CNN 获得非平凡 Lipschitz constant 的困难。同时,采用 Toeplitz 矩阵将 CNN 转换为完全连接的网络,并运用实验证明了在特定数据分布中实际 Lipschitz constant 与获得紧密界定之间存在的 20-50 倍的差距。针对不同网络架构在 MNIST 和 CIFAR-10 上进行全面实验和比较分析。
Jul, 2022
本文基于 CIFAR-10 数据集的实验结果,提出卷积神经网络泛化误差的边界,包含训练损失、参数数量、损失函数的 Lipschitz 常数和权重与初始值的距离,且不受输入像素数和隐藏特征图的高度与宽度限制,最后与具体的实验结果进行对比。
May, 2019
本研究通过连续时间动力系统的视角,提出了一种通用方法以构建 1-Lipschitz 神经网络,并证明了之前的一些方法是该框架的特殊情况。实验表明,该方法在几种数据集上具有可扩展性和作为 l2 检测攻击的优点。
Oct, 2021
本文提出了 AutoLip 和 SeqLip 两种神经网络架构方法的 Lipschitz 常数的自动上界估计算法,并探讨了这种算法在计算大型卷积和顺序神经网络时的使用情况和启发式技巧。我们提供了使用 PyTorch 环境的 AutoLip 实现,可以使用更精确的 Lipschitz 估计来更好地评估神经网络对小扰动的鲁棒性或进行正则化。
May, 2018
本文提出了一种基于波浪变换、线性非线性映射、平移不变性和形变稳定性的特征提取器,可以适用于不同的网络层,并且在网络深度增加时特征越来越具有平移不变性;同时,本文还建立了对带限函数、卡通函数和 Lipschitz 函数等信号类应用的变形敏感度边界。
Dec, 2015
通过将大型矩阵验证问题的确切分解为较小的子问题,我们提供了一种用于估计深度前馈神经网络的 Lipschitz 常数的组合方法。通过数值实验证明,我们的方法在计算时间上大大降低,同时产生的 Lipschitz 界限接近于最先进的方法。
Apr, 2024
本文提出了一种基于凸优化框架和半定规划的方法,用于计算 DNNs 的 Lipschitz 常数的保证上界,通过描述激活函数的性质,使得算法具有较高的准确性和可伸缩性,实验证明该方法的 Lipschitz 边界最准确,可用于有效提供稳健性保证。
Jun, 2019
本研究提出了新的平衡神经网络参数化方法,该方法可以实现在训练期间的 Lipschitz bound 并提升强健性,并通过建立与凸优化、非欧几里得空间上的算子分裂和收缩神经微分方程的新连接来证明这些结果,在图像分类实验中表现出非常高的准确性和抵御对抗性攻击的能力。
Oct, 2020
通过 Block Convolution 正交参数化的方法,我们可以训练具有可证明的 Lipschitz 界限的大型卷积神经网络,其表现与现有方法相当,实用性强。
Nov, 2019