Nov, 2019

Lipschitz 约束卷积神经网络中梯度消失的预防

PDF
TL;DR通过 Block Convolution 正交参数化的方法，我们可以训练具有可证明的 Lipschitz 界限的大型卷积神经网络，其表现与现有方法相当，实用性强。
lipschitz constraintsdeep neural networksadversarial robustnessconvolutional networksparameterization
发现论文，激发创造
  • 在 CIFAR-10 和 CIFAR-100 上提高的确定性 L2 鲁棒性

    通过放宽网络最后一层的正交化约束，证明了 1-Lipschitz CNN 的鲁棒性，此外还引入了新的梯度规范化激活函数和证明规则，有效提高了 CIFAR 数据集上的准确率。

    Aug, 2021

  • Lipschitz 函数逼近的排序处理

    通过保证每个单独的仿射转换或者非线性激活函数为 1-Lipschitz 可实现神经网络模型的可证对抗鲁棒性、泛化上界、可解释梯度和 Wasserstein 距离的估算。本文提出了基于保持反向传播梯度范数的架构条件以及结合保持梯度范数的激活函数（GroupSort）和约束权重矩阵的方法，证明了约束权重矩阵的 GroupSort 网络是普遍的 Lipschitz 函数逼近器并实现了比其 ReLU 对应部分更紧的的 Wasserstein 距离估算。

    Nov, 2018

  • 关于卷积神经网络 Lipschitz 界的研究

    本文介绍一个可以估算 CNN 网络的 Lipschitz bound 的线性程序，并使用其测量特性分离的非线性判别分析。

    Aug, 2018

  • 斜交卷积

    通过使用 Skew Orthogonal Convolution（SOC）方法（一种梯度保持（GNP）卷积的优化算法），这篇论文在 CIFAR-10 数据集上获得了高准确度，同时提高了标准和认证的强健性。

    May, 2021

  • 用于高效通用 Lipschitz 网络的几乎正交层

    本文提出了一种生成 Lipschitz 网络的新技术，可以应用于任何线性网络层， 并且保证 Lipschitz 常数不超过 1，结果表明 Almost-orthogonal Lipschitz (AOL) 层在图像分类方面的表现与现有方法相当，但更易于实现和更广泛适用。

    Aug, 2022

  • 深度卷积网络的 Lipschitz 属性

    本文讨论卷积神经网络的稳定性，以及基于 Lipschitz 性质的特征提取和分类方法，计算了 Lipschitz 边界并将其值与其他方法进行了比较，验证了 Lipschitz 边界计算方法的优越性。

    Jan, 2017

  • CNN 层的大范数不会损害对抗鲁棒性

    通过对 2D 多通道卷积层的理论分析，提出了规范化方法 norm decay，它可以有效地降低卷积层和全连接层的范数，并证明了在一定条件下，可以使用神经网络实现对抗性强度分类器，并且在提高通用性方面具有改进效果，但可能对攻击鲁棒性有轻微影响。

    Sep, 2020

  • 用 Cayley 变换将卷积层正交化

    本文提出并评估了一种约束为正交的卷积层的参数化方法，其中应用了 Cayley 变换，该方法保留正交性，并在保证对抗鲁棒性和认证防御方面优于以前的方法。

    Apr, 2021

  • 利普希茨界和拉普拉斯平滑法可证明的鲁棒训练

    本文提出了一个基于图的学习框架来训练在对抗扰动下具有稳健性的模型，并通过 Lipschitz 约束将对抗性稳健学习问题形式化为损失最小化问题，设计了一个稳健训练方案来收敛到拉格朗日函数的鞍点。 最终通过实验表明，在达到期望的标准表现的同时提高模型的稳健性存在一定的基本下限。

    Jun, 2020

  • 利普希茨有界深度神经网络的直接参数化

    本文介绍了一种新的深度神经网络参数化方法，具有保证的 Lipschitz 界限，即对扰动的敏感性有限。该参数化不需要计算密集的投影或障碍项并可以通过标准梯度方法进行训练，在图像分类（MNIST 和 CIFAR-10）等方面有着良好的应用。

    Jan, 2023