ICLRJan, 2024

推广 LipSDP: 新型二次约束用于超越斜率限制的激活函数

PDF
TL;DR我们的研究拓展了 LipSDP 方法，提供了新的约束条件，以估计一类富有的神经网络结构的 L2 和 L∞ Lipschitz 边界，包括非残差和残差神经网络以及隐式模型，其激活函数包括 GroupSort、MaxMin 和 Householder，提供了不那么保守的 Lipschitz 边界估计方法。
发现论文，激发创造
  • 深度神经网络的 Lipschitz 常数的高效准确估计

    本文提出了一种基于凸优化框架和半定规划的方法，用于计算 DNNs 的 Lipschitz 常数的保证上界，通过描述激活函数的性质，使得算法具有较高的准确性和可伸缩性，实验证明该方法的 Lipschitz 边界最准确，可用于有效提供稳健性保证。

    Jun, 2019

  • Lipschitz 函数逼近的排序处理

    通过保证每个单独的仿射转换或者非线性激活函数为 1-Lipschitz 可实现神经网络模型的可证对抗鲁棒性、泛化上界、可解释梯度和 Wasserstein 距离的估算。本文提出了基于保持反向传播梯度范数的架构条件以及结合保持梯度范数的激活函数（GroupSort）和约束权重矩阵的方法，证明了约束权重矩阵的 GroupSort 网络是普遍的 Lipschitz 函数逼近器并实现了比其 ReLU 对应部分更紧的的 Wasserstein 距离估算。

    Nov, 2018

  • 利用二次约束和半定规划进行神经网络的安全验证和鲁棒性分析

    通过半定规划的框架来解决对于神经网络在输入不确定性和对抗攻击下的安全性和强鲁棒性认证的问题，通过抽象出激活函数的各种性质，分析其安全性质，解决了保守性和计算效率的平衡问题，并且可以应用于安全认证以外的问题。

    Mar, 2019

  • 通过凸优化对两层多项式和 ReLU 激活网络进行对抗训练

    训练神经网络，使其对抗性攻击具有鲁棒性，特别是在采用过度参数化的模型进行安全关键设置时，仍然是深度学习中的一个重要问题。

    May, 2024

  • 利普希茨神经网络的统一代数学视角

    本文介绍了一种新的代数视角，统一了各种类型的 1-Lipschitz 神经网络，包括凸势层、次正交层、基于正交性和谱方法的方法等，并证明了 AOL 对缩放权重产生偏置，同时通过我们的 SDP Lipschitz 层方法，证明了 SLL 的有效性。

    Mar, 2023

  • 1-Lipschitz 神经网络基于 N - 激活的表达更加丰富

    通过研究激活函数的角色，论文揭示了常用的激活函数以及两段式分段线性函数在表达函数时的局限性，并介绍了一种新的 N - 激活函数，证明其比目前流行的激活函数更具表达能力。

    Nov, 2023

  • 全局凸优化：通过神经半定程序提升多项式激活神经网络的神经谱聚合

    本文提出了基于半定规划的二层神经网络的精确凸优化公式，可在多种神经网络体系结构中实现全局最优解，相比标准反向传播方法速度更快且准确性更高。

    Jan, 2021

  • 可训练激活函数和可控 Lipschitz 常数的深度神经网络

    本研究提出了一种变分框架来学习深度神经网络的激活函数，旨在增加网络的容量并控制输入输出关系的 Lipschitz 常数的上界，其中引入了线性 Lipschitz 常数的全局界限和一个基于级联线性激活函数的无穷维度变分问题，通过在激活参数上实施 l1 约束来减少了问题的维度，从而获得了稀疏的非线性激活函数，并在标准 ReLU 网络及其变化 PReLU 和 LeakyReLU 上进行了实验验证。

    Jan, 2020

  • 通过内存高效的半定规划使验证无关网络实现认证

    该论文介绍了一种新的 SDP 算法，利用迭代特征向量方法将其各种操作表达为网络正反向传播。在 MNIST 和 CIFAR-10 数据集上的两个验证矢量网络中，将 L-inf 的验证鲁棒准确性从 1％提高到 88％和从 6％提高到 40％

    Oct, 2020

  • 通过稀疏多项式优化估计神经网络的 Lipschitz 常数

    LiPopt 是一种基于多项式优化的框架，用于计算神经网络李普希茨常数的逐渐收紧的上界，并利用网络的稀疏连接来显著降低计算复杂度，尤其适用于卷积和修剪神经网络。实验表明，相对于文献中的基准，该方法在随机权重网络和 MNIST 数据集上具有更好的估计性能，尤其是在∞-Lipschitz 常数的特定情况下。

    Apr, 2020