ICMLNov, 2018

Lipschitz 函数逼近的排序处理

PDF
TL;DR通过保证每个单独的仿射转换或者非线性激活函数为 1-Lipschitz 可实现神经网络模型的可证对抗鲁棒性、泛化上界、可解释梯度和 Wasserstein 距离的估算。本文提出了基于保持反向传播梯度范数的架构条件以及结合保持梯度范数的激活函数（GroupSort）和约束权重矩阵的方法，证明了约束权重矩阵的 GroupSort 网络是普遍的 Lipschitz 函数逼近器并实现了比其 ReLU 对应部分更紧的的 Wasserstein 距离估算。
发现论文，激发创造
  • 利用 GroupSort 神经网络逼近 Lipschitz 连续函数

    本研究介绍了 GroupSort 神经网络，探讨了它对利普希茨连续分段线性函数的表示能力，证明了它们适合近似利普希茨连续函数，并展示了其在合成实验中相对于标准的 ReLU 网络的高效性。

    Jun, 2020

  • 在 CIFAR-10 和 CIFAR-100 上提高的确定性 L2 鲁棒性

    通过放宽网络最后一层的正交化约束，证明了 1-Lipschitz CNN 的鲁棒性，此外还引入了新的梯度规范化激活函数和证明规则，有效提高了 CIFAR 数据集上的准确率。

    Aug, 2021

  • Lipschitz 约束卷积神经网络中梯度消失的预防

    通过 Block Convolution 正交参数化的方法，我们可以训练具有可证明的 Lipschitz 界限的大型卷积神经网络，其表现与现有方法相当，实用性强。

    Nov, 2019

  • 重新思考 Lipschitz 神经网络和认证鲁棒性：布尔函数视角

    通过用布尔函数表示方法，研究证明了标准 Lipschitz 网络无法在有限数据集和 Lipschitz 函数逼近上进行鲁棒分类。提出了一种新的 Lipschitz 网络方法并通过实验验证了鲁棒性。

    Oct, 2022

  • 关于 Wasserstein GAN 正则化的研究

    本文提出了一种使用正则化项的生成对抗网络（GANs）的训练方法，以加强 Lipschitz 限制约束，该方法通过实验数据验证其有效性。

    Sep, 2017

  • 使用高效的本地 Lipschitz 界限训练保证鲁棒神经网络

    本文提出了一种训练算法插件，可以有效地减小神经网络的局部 Lipschitz 上界，以提高神经网络的自然精度和可证明的精度之间的权衡，并在 MNIST、CIFAR-10 和 TinyImageNet 数据集上展示了该方法在不同网络结构下均能优于现有的最先进方法。[Simplified Chinese]

    Nov, 2021

  • 推广 LipSDP: 新型二次约束用于超越斜率限制的激活函数

    我们的研究拓展了 LipSDP 方法，提供了新的约束条件，以估计一类富有的神经网络结构的 L2 和 L∞ Lipschitz 边界，包括非残差和残差神经网络以及隐式模型，其激活函数包括 GroupSort、MaxMin 和 Householder，提供了不那么保守的 Lipschitz 边界估计方法。

    Jan, 2024

  • 1-Lipschitz 神经网络基于 N - 激活的表达更加丰富

    通过研究激活函数的角色，论文揭示了常用的激活函数以及两段式分段线性函数在表达函数时的局限性，并介绍了一种新的 N - 激活函数，证明其比目前流行的激活函数更具表达能力。

    Nov, 2023

  • 通过强制利普希茨连续性来正则化神经网络

    研究神经网络与输入的 Lipschitz 连续性约束，提供一种计算前馈神经网络 Lipschitz 常数上界的简单技术，进而以受限优化问题的形式训练神经网络并使用投影随机梯度方法求解，实验证明该方法优于其他常用规则化器，特别是在仅有少量训练数据时。

    Apr, 2018

  • 有界深度神经网络中的 Lipschitz 逼近

    利用具有低 Lipschitz 常数的神经网络变体，证明了使用 FullSort 激活函数的三层神经网络是全范围 Lipschitz 函数逼近器（ULA），这为创建更好的有证明保证的机器学习模型铺平了道路。实验结果表明，ULA 不仅是一种新奇的方法，而且是提供有证明保障的分类器的一种有竞争力的方法。

    Apr, 2019