AAAISep, 2017

任意深度残差神经网络可逆架构

PDF
TL;DR本研究将深度残差网络解释为普通微分方程，并由此开发出一种稳定和可逆的深度神经网络理论框架，以及提出了三种可任意加深的可逆神经网络架构，实现了对深度网络的记忆高效实现，并且通过实验证明了本文方法在 CIFAR-10，CIFAR-100 和 STL-10 等数据集上取得了明显的优于现有强基准的性能表现，并且能够通过使用更少的训练数据来训练神经网络。
发现论文，激发创造
  • 深度神经网络的稳定结构

    本文提出了一种新颖的前向传播算法，其灵感来源于 ODE 系统，能够克服深度神经网络设计和训练中的挑战，并通过对稳定性和合理性的分析，发展了新的网络架构，以稳定深度学习，且具有竞争力。

    May, 2017

  • 深度残差网络的缩放性质

    通过数值实验，我们研究了 Residual 网络的权重性质和与深度有关的规模，在某些网络结构下得到了另一种常微分方程的极限，这表明了深度 ResNets 的极限模型不完全适用于神经正则微分方程。

    May, 2021

  • 深度残差网络对神经常微分方程的隐式正则化

    深度残差网络与神经常微分方程之间的离散化联系被建立，证明了在特定条件下网络收敛至全局最小值。

    Sep, 2023

  • 动量残差神经网络

    本研究提出了一种新的神经网络结构，称为动量残差神经网络 (Momentum ResNets)，其采用可逆性结构和动量机制，优于现有的可逆结构，能够学习任何线性映射并在 CIFAR 和 ImageNet 上具有与 ResNets 相同的准确度，且具有更小的内存占用。

    Feb, 2021

  • 嵌入深度神经网络

    本文提出了一种新的方法，通过将网络的深度作为一个基本变量，将问题简化为正向初始值问题的系统，探讨了深度的不同对神经网络的不同性质产生的影响，并通过实验展示了该方法在监督学习和时间序列预测方面的竞争性表现。

    Jan, 2022

  • 神经 ODEs 和可逆残差网络的逼近能力

    证明了任何拓扑同胚都可以用在 $p$- 维欧几里得空间上的神经 ODE 或 i-ResNet 逼近，且也同时表明，用单个线性层对神经 ODE 或 i-ResNet 进行修整，就足以将模型变为非可逆连续函数的通用逼近器。

    Jul, 2019

  • 超越有限层神经网络：桥接深度架构和数值微分方程

    利用数值微分方程设计方法，构建了新的网络结构 LM-architecture，能够在 CIFAR 和 ImageNet 上实现比 ResNet 和 ResNeXt 更高的性能，并且可以通过插入噪声来改善网络的鲁棒性。

    Oct, 2017

  • 可逆残差网络：无需存储激活即可反向传播

    该研究介绍了一种新型的具有可逆性的深度残差网络，名为 RevNet，能够通过其后续层的激活来精确地重建每一层的激活，从而克服了传统深度残差网络在反向传播过程中所需要大量的存储空间，实现了与相同大小的深度残余网络相似的图像分类准确率。

    Jul, 2017

  • 分解神经常微分方程

    本文通过进一步开发连续深度神经微分方程模型，以期澄清几种设计选择对其底层动态的影响，进而解密其内部运作方式。

    Feb, 2020

  • 神经常微分方程作为具有恒定权重的 ResNets 的深度极限

    本研究证明，当深度趋近于无限时，共享同一权重矩阵的 ResNet 类型深度神经网络上的随机梯度下降收敛于神经 ODE 的随机梯度下降，并且相应的值 / 损失函数收敛。我们的结果为考虑神经 ODE 作为 ResNet 的深度极限提供了理论基础。我们的证明基于相关 Fokker-Planck 方程的衰减估计。

    Jun, 2019