Jun, 2023

利用凸分析和 ODE 设计稳定的神经网络

PDF
TL;DR本文提出了一种 ResNet 风格的神经网络架构，编码非扩张（1-Lipschitz）算子，不同于普通的 ResNet 架构，该架构的 Lipschitz 常数不会随着网络深度的增加而呈指数级增长。进一步分析表明，权重的谱范数可以进一步约束，以确保网络是平均算子，使其成为 Plug-and-Play 算法中学习去噪器的自然候选物。通过一种新颖的自适应方法实现了谱范数约束，证明了即使有这些约束，也可以训练出性能良好的网络。提出的架构应用于对抗鲁棒图像分类问题，图像去噪以及反问题退化模糊。
neural network architectureresnetlipschitz constantspectral normsdenoiser
发现论文，激发创造
  • 深度残差网络的缩放性质

    通过数值实验，我们研究了 Residual 网络的权重性质和与深度有关的规模，在某些网络结构下得到了另一种常微分方程的极限，这表明了深度 ResNets 的极限模型不完全适用于神经正则微分方程。

    May, 2021

  • 神经常微分方程作为具有恒定权重的 ResNets 的深度极限

    本研究证明，当深度趋近于无限时，共享同一权重矩阵的 ResNet 类型深度神经网络上的随机梯度下降收敛于神经 ODE 的随机梯度下降，并且相应的值 / 损失函数收敛。我们的结果为考虑神经 ODE 作为 ResNet 的深度极限提供了理论基础。我们的证明基于相关 Fokker-Planck 方程的衰减估计。

    Jun, 2019

  • 残差网络与非残差网络之间的插值

    本研究提出了一种新的 ODE 模型，该模型可以通过添加阻尼项来回复 ResNet 和 CNN，并通过调整插值系数来提供解释残差和非残差网络的统一框架，同时其使用的 Lyapunov 分析表明了更好的稳定性，实验证明该方法可以显著提高图像分类的准确性，并在攻击方向上展现了更强的鲁棒性。

    Jun, 2020

  • Lipschitz 神经网络的动力学系统视角

    本研究通过连续时间动力系统的视角，提出了一种通用方法以构建 1-Lipschitz 神经网络，并证明了之前的一些方法是该框架的特殊情况。实验表明，该方法在几种数据集上具有可扩展性和作为 l2 检测攻击的优点。

    Oct, 2021

  • 深度残差网络对神经常微分方程的隐式正则化

    深度残差网络与神经常微分方程之间的离散化联系被建立，证明了在特定条件下网络收敛至全局最小值。

    Sep, 2023

  • Lipschitz 有界平衡网络

    本研究提出了新的平衡神经网络参数化方法，该方法可以实现在训练期间的 Lipschitz bound 并提升强健性，并通过建立与凸优化、非欧几里得空间上的算子分裂和收缩神经微分方程的新连接来证明这些结果，在图像分类实验中表现出非常高的准确性和抵御对抗性攻击的能力。

    Oct, 2020

  • 深度神经网络的稳定结构

    本文提出了一种新颖的前向传播算法，其灵感来源于 ODE 系统，能够克服深度神经网络设计和训练中的挑战，并通过对稳定性和合理性的分析，发展了新的网络架构，以稳定深度学习，且具有竞争力。

    May, 2017

  • 任意深度残差神经网络可逆架构

    本研究将深度残差网络解释为普通微分方程，并由此开发出一种稳定和可逆的深度神经网络理论框架，以及提出了三种可任意加深的可逆神经网络架构，实现了对深度网络的记忆高效实现，并且通过实验证明了本文方法在 CIFAR-10，CIFAR-100 和 STL-10 等数据集上取得了明显的优于现有强基准的性能表现，并且能够通过使用更少的训练数据来训练神经网络。

    Sep, 2017

  • 神经 ODEs 和可逆残差网络的逼近能力

    证明了任何拓扑同胚都可以用在 $p$- 维欧几里得空间上的神经 ODE 或 i-ResNet 逼近，且也同时表明，用单个线性层对神经 ODE 或 i-ResNet 进行修整，就足以将模型变为非可逆连续函数的通用逼近器。

    Jul, 2019

  • 超越有限层神经网络：桥接深度架构和数值微分方程

    利用数值微分方程设计方法，构建了新的网络结构 LM-architecture，能够在 CIFAR 和 ImageNet 上实现比 ResNet 和 ResNeXt 更高的性能，并且可以通过插入噪声来改善网络的鲁棒性。

    Oct, 2017