利普希茨神经网络的统一代数学视角
本文提出了一种生成 Lipschitz 网络的新技术,可以应用于任何线性网络层, 并且保证 Lipschitz 常数不超过 1,结果表明 Almost-orthogonal Lipschitz (AOL) 层在图像分类方面的表现与现有方法相当,但更易于实现和更广泛适用。
Aug, 2022
本研究通过连续时间动力系统的视角,提出了一种通用方法以构建 1-Lipschitz 神经网络,并证明了之前的一些方法是该框架的特殊情况。实验表明,该方法在几种数据集上具有可扩展性和作为 l2 检测攻击的优点。
Oct, 2021
通过设计一种基于交替方向乘子法的最优化方案来训练多层神经网络,同时鼓励通过保持其利普希茨常数来促进鲁棒性,从而解决基于输入的扰动的效应以及提高神经网络的鲁棒性。该文设计了两个训练程序,最终提供了两个例子来证明这种方法成功地提高了神经网络的鲁棒性。
May, 2020
该论文以半定规划方法估计神经网络的 Lipschitz 常数,并通过动态规划递归来利用神经网络的级联结构,处理非线性激活函数、汇聚层和信号处理层。通过应用到不同的神经网络架构,展示了该方法的多功能性和计算优势。
May, 2024
本研究提出了新的平衡神经网络参数化方法,该方法可以实现在训练期间的 Lipschitz bound 并提升强健性,并通过建立与凸优化、非欧几里得空间上的算子分裂和收缩神经微分方程的新连接来证明这些结果,在图像分类实验中表现出非常高的准确性和抵御对抗性攻击的能力。
Oct, 2020
本文提出了一种基于凸优化框架和半定规划的方法,用于计算 DNNs 的 Lipschitz 常数的保证上界,通过描述激活函数的性质,使得算法具有较高的准确性和可伸缩性,实验证明该方法的 Lipschitz 边界最准确,可用于有效提供稳健性保证。
Jun, 2019
通过用布尔函数表示方法,研究证明了标准 Lipschitz 网络无法在有限数据集和 Lipschitz 函数逼近上进行鲁棒分类。提出了一种新的 Lipschitz 网络方法并通过实验验证了鲁棒性。
Oct, 2022
本文介绍了一种新的深度神经网络参数化方法,具有保证的 Lipschitz 界限,即对扰动的敏感性有限。该参数化不需要计算密集的投影或障碍项并可以通过标准梯度方法进行训练,在图像分类(MNIST 和 CIFAR-10)等方面有着良好的应用。
Jan, 2023
LiPopt 是一种基于多项式优化的框架,用于计算神经网络李普希茨常数的逐渐收紧的上界,并利用网络的稀疏连接来显著降低计算复杂度,尤其适用于卷积和修剪神经网络。实验表明,相对于文献中的基准,该方法在随机权重网络和 MNIST 数据集上具有更好的估计性能,尤其是在∞-Lipschitz 常数的特定情况下。
Apr, 2020
本文介绍利用限制 Lipschitz 常数的深度神经网络训练,通过对每层的参数进行 Lipschitz 常数约束来提供灵敏度边界,实现差分隐私以保证网络的私密性,在固定的隐私保证下最大化梯度与噪声之比,并提供 Python 包以实现构建和私人训练。
May, 2023