Dec, 2018

残余网络的随机训练：微分方程视角

PDF
TL;DR本文研究了基于改进方程的方法，表明残差网络及其变体可以被视为弱逼近随机微分方程。从损失景观的角度提供了关于正则化效应的新视角，并为设计更可靠和高效的随机训练策略提供了启示。我们提出了一种利用伯努利丢弃来进行实验的新方法，从而验证了我们的理论发现。
stochastic trainingartificial neural networksmodified equationsstochastic differential equationsoptimal control
发现论文，激发创造
  • 神经常微分方程中的随机性：实证研究

    本文对几个图像分类任务进行了随机正则化神经 ODE 的实证研究，探讨了数据增强对其性能的影响，展示了神经 SDE 相对于其确定性版本的优势，但进一步的研究表明，数据增强消除了随机正则化的影响，使得神经 ODE 和神经 SDE 的性能差异微不足道。

    Feb, 2020

  • 随机修正方程和 Dropout 算法的动力学

    本文研究了 dropout 过程中的梯度优化机制，使用模拟方法得出其随机修改方程，证明了 dropout 的正则化能力来自于其寻找更平稳的极小值点，实验结果表明这种机制在 dropout 的训练过程中普遍存在。

    May, 2023

  • 神经随机微分方程：用随机噪声稳定神经常微分方程网络

    本研究介绍了一种新型连续神经网络框架 Neural SDE，该框架自然地融合了基于随机噪声注入的各种常用正则化机制，可用于输入干扰和非对抗性扰动的鲁棒建模，并可实现更好的泛化性能和对抗性强化训练。

    Jun, 2019

  • 超越有限层神经网络：桥接深度架构和数值微分方程

    利用数值微分方程设计方法，构建了新的网络结构 LM-architecture，能够在 CIFAR 和 ImageNet 上实现比 ResNet 和 ResNeXt 更高的性能，并且可以通过插入噪声来改善网络的鲁棒性。

    Oct, 2017

  • 深度残差网络对神经常微分方程的隐式正则化

    深度残差网络与神经常微分方程之间的离散化联系被建立，证明了在特定条件下网络收敛至全局最小值。

    Sep, 2023

  • 微分方程作为深度神经网络的模型

    本研究系统地分析了用作机器学习模型的微分方程的一般性质，并证明了损失函数相对于隐藏状态的梯度可被视为一般化的动量，可以应用经典力学的工具。此外，我们还展示了残差网络和前馈神经网络可以与微小非线性权重矩阵偏差只稍微偏离单位矩阵的微分方程相关。我们提出了一种描述这种网络的微分方程并研究了它的属性。

    Sep, 2019

  • 残差神经网络的深层限制

    本文研究了残差神经网络模型，并展示了该模型的深层级极限的收敛问题，证明了残差神经网络模型的优化参数在深层级极限的情况下是收敛的。

    Oct, 2018

  • 随机微分方程网络学习

    该篇论文研究了使用线性模型描述随机动态的网络 (有向图) 的学习问题，并证明了在较高采样率的情况下，利用 $\ell_1$- 正则化最小二乘算法可以高效地推断出稀疏网络结构。

    Nov, 2010

  • 均场剩余网络：朝向混沌的边缘

    本研究旨在证明，通过添加跳跃连接，残差网络将采用基于解析方法确定的次指数正向和反向动态，从而有效地保护输入空间几何形态和梯度信息流。我们证明理论和实证，Xavier 或 He 方案等通用初始方案不是残差网络的最佳选择。

    Dec, 2017

  • 深度残差网络的缩放性质

    通过数值实验，我们研究了 Residual 网络的权重性质和与深度有关的规模，在某些网络结构下得到了另一种常微分方程的极限，这表明了深度 ResNets 的极限模型不完全适用于神经正则微分方程。

    May, 2021