在 CIFAR-10 和 CIFAR-100 上提高的确定性 L2 鲁棒性
通过 Block Convolution 正交参数化的方法,我们可以训练具有可证明的 Lipschitz 界限的大型卷积神经网络,其表现与现有方法相当,实用性强。
Nov, 2019
通过保证每个单独的仿射转换或者非线性激活函数为 1-Lipschitz 可实现神经网络模型的可证对抗鲁棒性、泛化上界、可解释梯度和 Wasserstein 距离的估算。本文提出了基于保持反向传播梯度范数的架构条件以及结合保持梯度范数的激活函数(GroupSort)和约束权重矩阵的方法,证明了约束权重矩阵的 GroupSort 网络是普遍的 Lipschitz 函数逼近器并实现了比其 ReLU 对应部分更紧的的 Wasserstein 距离估算。
Nov, 2018
该研究提出一种基于层次正交训练和利普希茨限制的深度神经网络训练方法,结合半监督学习来提高模型的认证鲁棒性,并证明其在多个数据集和网络结构上表现出卓越的性能。
Oct, 2022
通过对 2D 多通道卷积层的理论分析,提出了规范化方法 norm decay,它可以有效地降低卷积层和全连接层的范数,并证明了在一定条件下,可以使用神经网络实现对抗性强度分类器,并且在提高通用性方面具有改进效果,但可能对攻击鲁棒性有轻微影响。
Sep, 2020
本文提出了一种训练算法插件,可以有效地减小神经网络的局部 Lipschitz 上界,以提高神经网络的自然精度和可证明的精度之间的权衡,并在 MNIST、CIFAR-10 和 TinyImageNet 数据集上展示了该方法在不同网络结构下均能优于现有的最先进方法。[Simplified Chinese]
Nov, 2021
通过使用 Skew Orthogonal Convolution(SOC)方法(一种梯度保持(GNP)卷积的优化算法),这篇论文在 CIFAR-10 数据集上获得了高准确度,同时提高了标准和认证的强健性。
May, 2021
本研究通过连续时间动力系统的视角,提出了一种通用方法以构建 1-Lipschitz 神经网络,并证明了之前的一些方法是该框架的特殊情况。实验表明,该方法在几种数据集上具有可扩展性和作为 l2 检测攻击的优点。
Oct, 2021
通过用布尔函数表示方法,研究证明了标准 Lipschitz 网络无法在有限数据集和 Lipschitz 函数逼近上进行鲁棒分类。提出了一种新的 Lipschitz 网络方法并通过实验验证了鲁棒性。
Oct, 2022
通过设计一种基于交替方向乘子法的最优化方案来训练多层神经网络,同时鼓励通过保持其利普希茨常数来促进鲁棒性,从而解决基于输入的扰动的效应以及提高神经网络的鲁棒性。该文设计了两个训练程序,最终提供了两个例子来证明这种方法成功地提高了神经网络的鲁棒性。
May, 2020
提出了一种可扩展的技术,用于上界生成模型的 Lipschitz 常数,该方法使用 zonotope 对可达向量雅可比积的集合进行逐层凸逼近来近似该数量,扩展到具有较大输出维度的神经网络的 Lipschitz 估计,为小网络提供有效和紧密的边界,并可用于采用 VAE 和 DCGAN 结构的生成模型。
Jul, 2021