Feb, 2024

单调，双 Lipschitz 和 Polyak-Łojasiewicz 网络

PDF
TL;DR该论文介绍了一种新的双 Lipschitz 可逆神经网络（BiLipNet），它能够控制其 Lipschitz 性（输出对输入扰动的敏感性）和逆 Lipschitz 性（对不同输出的输入可辨识性）。主要贡献是一种具有强单调性和 Lipschitz 性的新型可逆残差层，我们将其与正交层组合以构建双 Lipschitz 网络。认证基于增量二次约束，与谱归一化相比，能够实现更紧的边界。此外，我们将模型逆计算形式化为一个三运算符分裂问题，已知存在快速算法。基于所提出的双 Lipschitz 网络，我们引入了一种新的标量输出网络（PLNet），它满足 Polyak-Łojasiewicz 条件。它可应用于学习具有有利性质的非凸代理损失函数，例如，具有唯一的和高效计算的全局最小值。
bi-lipschitzinvertible neural networklipschitznessinverse lipschitznessscalar-output network
发现论文，激发创造
  • 通过整体双 Lipschitz 性的直接参数化，对神经网络的灵敏度进行可证控制

    我们研究和提出了一个新颖的针对 bi-Lipschitzness 的框架，该框架可以基于凸神经网络和 Legendre-Fenchel 对偶性实现对常数的直接和简单控制，并通过具体实验展示了其期望的性质。我们还将该框架应用于不确定性估计和单调问题设置，以展示其广泛的应用范围。

    Apr, 2024

  • Lipschitz 有界平衡网络

    本研究提出了新的平衡神经网络参数化方法，该方法可以实现在训练期间的 Lipschitz bound 并提升强健性，并通过建立与凸优化、非欧几里得空间上的算子分裂和收缩神经微分方程的新连接来证明这些结果，在图像分类实验中表现出非常高的准确性和抵御对抗性攻击的能力。

    Oct, 2020

  • 关于逆可逆神经网络逼近双 Lipschitz 映射的研究

    本文通过分析基于耦合的可逆神经网络（INN）对紧致域上的双 Lipschitz 连续映射的容量，得出同时很好地逼近正向和逆向映射的结论。此外，通过将模型简化、主成分分析和 INN 相结合，提出了一种在无限维空间上同时逼近正向和逆向映射的逼近方法，并分析了该方法的整体逼近误差。初步的数值结果显示该方法在逼近参数化二阶椭圆问题的解算符方面的可行性。

    Aug, 2023

  • 用于高效通用 Lipschitz 网络的几乎正交层

    本文提出了一种生成 Lipschitz 网络的新技术，可以应用于任何线性网络层， 并且保证 Lipschitz 常数不超过 1，结果表明 Almost-orthogonal Lipschitz (AOL) 层在图像分类方面的表现与现有方法相当，但更易于实现和更广泛适用。

    Aug, 2022

  • 重新思考 Lipschitz 神经网络和认证鲁棒性：布尔函数视角

    通过用布尔函数表示方法，研究证明了标准 Lipschitz 网络无法在有限数据集和 Lipschitz 函数逼近上进行鲁棒分类。提出了一种新的 Lipschitz 网络方法并通过实验验证了鲁棒性。

    Oct, 2022

  • Lipschitz 神经网络的动力学系统视角

    本研究通过连续时间动力系统的视角，提出了一种通用方法以构建 1-Lipschitz 神经网络，并证明了之前的一些方法是该框架的特殊情况。实验表明，该方法在几种数据集上具有可扩展性和作为 l2 检测攻击的优点。

    Oct, 2021

  • 利普希茨神经网络的统一代数学视角

    本文介绍了一种新的代数视角，统一了各种类型的 1-Lipschitz 神经网络，包括凸势层、次正交层、基于正交性和谱方法的方法等，并证明了 AOL 对缩放权重产生偏置，同时通过我们的 SDP Lipschitz 层方法，证明了 SLL 的有效性。

    Mar, 2023

  • 使用 Lipschitz 界限训练鲁棒神经网络

    通过设计一种基于交替方向乘子法的最优化方案来训练多层神经网络，同时鼓励通过保持其利普希茨常数来促进鲁棒性，从而解决基于输入的扰动的效应以及提高神经网络的鲁棒性。该文设计了两个训练程序，最终提供了两个例子来证明这种方法成功地提高了神经网络的鲁棒性。

    May, 2020

  • 表达性单调神经网络

    本文提出一种基于神经网络的单残差连接的加权受限架构，以实现对神经网络输入的任何子集的确切单调依赖，同时控制了神经网络的 Lipschitz 常数，从而提供了鲁棒性，该算法被用于训练强大，鲁棒和可解释的鉴别器，在多个基准测试中均取得了与当前最先进方法相媲美的性能。

    Jul, 2023

  • L2 - 非扩张神经网络

    本文提出了一种良好条件的神经网络，通过控制 Lipschitz 常数来实现最大的鲁棒性，不需要任何对抗性训练，提高了对白盒有界 L2 对抗攻击的鲁棒性和对有噪声的部分随机标签数据的泛化能力，具有很强的实用性。

    Feb, 2018