使用高效的本地 Lipschitz 界限训练保证鲁棒神经网络

Nov, 2021

使用高效的本地 Lipschitz 界限训练保证鲁棒神经网络

Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds

Yujia Huang, Huan Zhang, Yuanyuan Shi, J Zico Kolter, Anima Anandkumar

TL;DR本文提出了一种训练算法插件，可以有效地减小神经网络的局部 Lipschitz 上界，以提高神经网络的自然精度和可证明的精度之间的权衡，并在 MNIST、CIFAR-10 和 TinyImageNet 数据集上展示了该方法在不同网络结构下均能优于现有的最先进方法。[Simplified Chinese]

Abstract

certified robustness is a desirable property for deep neural networks in safety-critical applications, and popular training algorithms can certify robustness of a neural network by computing a global bound on its

certified robustness neural network lipschitz bound activation functions certifiable training algorithms

发现论文，激发创造

重新思考 Lipschitz 神经网络和认证鲁棒性：布尔函数视角

通过用布尔函数表示方法，研究证明了标准 Lipschitz 网络无法在有限数据集和 Lipschitz 函数逼近上进行鲁棒分类。提出了一种新的 Lipschitz 网络方法并通过实验验证了鲁棒性。

Oct, 2022

使用 Lipschitz 界限训练鲁棒神经网络

通过设计一种基于交替方向乘子法的最优化方案来训练多层神经网络，同时鼓励通过保持其利普希茨常数来促进鲁棒性，从而解决基于输入的扰动的效应以及提高神经网络的鲁棒性。该文设计了两个训练程序，最终提供了两个例子来证明这种方法成功地提高了神经网络的鲁棒性。

May, 2020

全局鲁棒神经网络

通过在网络中加入全局 Lipschitz 边界，文中提出的方法可以快速训练大型强健的神经网络，实现了可证明的最先进的可验证准确性。同时，该方法比最近的可证方法需要的时间和内存少得多，并在在线认证时产生可忽略的成本。

Feb, 2021

计算 ReLU 网络的局部 Lipschitz 常数

本文研究了神经网络的局部 Lipschitz 常数及其在鲁棒性、泛化性和公平性评估中的应用，提出将非光滑向量值函数的局部 Lipschitz 常数与广义 Jacobian 范数最大化相关联的新颖分析结果，并给出适用于广义 Jacobian 的反向传播的充分条件。同时，提出了一种算法来精确计算 ReLU 网络的 Lipschitz 常数，用于评价竞争 Lipschitz 估计量的紧密度和正则化训练对 Lipschitz 常数的影响。

Mar, 2020

通过动态边距最大化和改进的 Lipschitz 正则化实现的认证鲁棒性

通过开发一个鲁棒的训练算法和有效计算神经网络的 Lipschitz 常数的方法，可以直接操控输入空间的决策边界，提高深度分类器对抗性扰动的鲁棒性。在 MNIST、CIFAR-10 和 Tiny-ImageNet 数据集上的实验证实了该算法的竞争性改进。

Sep, 2023

关于随机神经网络的 Lipschitz 常数

神经网络对输入的微小敌对扰动非常敏感，该研究在随机 ReLU 神经网络（即权重随机选择并使用 ReLU 激活函数的神经网络）中研究了 Lipschitz 常数，并在浅层神经网络中表征了 Lipschitz 常数，而在足够宽的深层神经网络中证明了 Lipschitz 常数的上下界。这些边界在深度上存在对数因子的匹配。

Nov, 2023

可训练激活函数和可控 Lipschitz 常数的深度神经网络

本研究提出了一种变分框架来学习深度神经网络的激活函数，旨在增加网络的容量并控制输入输出关系的 Lipschitz 常数的上界，其中引入了线性 Lipschitz 常数的全局界限和一个基于级联线性激活函数的无穷维度变分问题，通过在激活参数上实施 l1 约束来减少了问题的维度，从而获得了稀疏的非线性激活函数，并在标准 ReLU 网络及其变化 PReLU 和 LeakyReLU 上进行了实验验证。

Jan, 2020

神经网络的 Lipschitz 界分析

本文提出了利用 Lipschitz Bound Estimation 保证深度神经网络对抗攻击鲁棒性的有效方法，并通过图形分析支持 CNN 获得非平凡 Lipschitz constant 的困难。同时，采用 Toeplitz 矩阵将 CNN 转换为完全连接的网络，并运用实验证明了在特定数据分布中实际 Lipschitz constant 与获得紧密界定之间存在的 20-50 倍的差距。针对不同网络架构在 MNIST 和 CIFAR-10 上进行全面实验和比较分析。

Jul, 2022

深度神经网络的 Lipschitz 常数的高效准确估计

本文提出了一种基于凸优化框架和半定规划的方法，用于计算 DNNs 的 Lipschitz 常数的保证上界，通过描述激活函数的性质，使得算法具有较高的准确性和可伸缩性，实验证明该方法的 Lipschitz 边界最准确，可用于有效提供稳健性保证。

Jun, 2019

1 - 利普希茨层比较：记忆、速度和可证实的鲁棒性

深度学习模型安全系统中，提高 1-Lipschitz 神经网络的可证明鲁棒性保证的方法和性能比较

Nov, 2023