超越有限层神经网络：桥接深度架构和数值微分方程

Oct, 2017

超越有限层神经网络：桥接深度架构和数值微分方程

Beyond Finite Layer Neural Networks: Bridging Deep Architectures and Numerical Differential Equations

Yiping Lu, Aoxiao Zhong, Quanzheng Li, Bin Dong

TL;DR利用数值微分方程设计方法，构建了新的网络结构 LM-architecture，能够在 CIFAR 和 ImageNet 上实现比 ResNet 和 ResNeXt 更高的性能，并且可以通过插入噪声来改善网络的鲁棒性。

Abstract

In our work, we bridge deep neural network design with numerical differential equations. We show that many effective networks, such as resnet, PolyNet, FractalNet and RevNet, can be interpreted as different numer

deep learning neural network design numerical differential equations resnet lm-architecture

发现论文，激发创造

残余网络的随机训练：微分方程视角

本文研究了基于改进方程的方法，表明残差网络及其变体可以被视为弱逼近随机微分方程。从损失景观的角度提供了关于正则化效应的新视角，并为设计更可靠和高效的随机训练策略提供了启示。我们提出了一种利用伯努利丢弃来进行实验的新方法，从而验证了我们的理论发现。

Dec, 2018

连续深度神经网络

通过将连续动力学系统嵌入高阶数值积分方案中，我们构造了一种连续的深度神经网络框架 ——ContinuousNet，其具有与时间步长大小无关的层次独立性和增量深度训练方法，实现了在保持准确性的同时加快推断速度。

Aug, 2020

deepFDEnet: 用于解决分数阶微分方程的新型神经网络结构

提出了一个深度神经网络的新架构，可以准确解决分数阶微分方程。使用高斯积分规则和 L1 离散技术。通过研究分数阶普通微分方程、分数阶积分微分方程和分数阶偏微分方程，结果表明该提出的架构以出色的精度解决不同形式的分数阶微分方程。

Sep, 2023

利用深度神经网络进行数据驱动的控制方程近似

使用深度神经网络和 ResNet 来近似未知的控制方程，提出了多步方法。三种方法都基于底层动态系统的积分形式，不需要时间导数数据来恢复方程，并且可以处理相对粗糙的轨迹数据。

Nov, 2018

任意深度残差神经网络可逆架构

本研究将深度残差网络解释为普通微分方程，并由此开发出一种稳定和可逆的深度神经网络理论框架，以及提出了三种可任意加深的可逆神经网络架构，实现了对深度网络的记忆高效实现，并且通过实验证明了本文方法在 CIFAR-10，CIFAR-100 和 STL-10 等数据集上取得了明显的优于现有强基准的性能表现，并且能够通过使用更少的训练数据来训练神经网络。

Sep, 2017

以偏微分方程为基础的深度神经网络

该论文通过偏微分方程的理论框架，提出了三种新型的 ResNet 神经网络架构，分别属于抛物线和双曲线类型的 CNN，能够提供深度学习的新算法和思路，并用数值实验证明了它们的竞争力。

Apr, 2018

微分方程作为深度神经网络的模型

本研究系统地分析了用作机器学习模型的微分方程的一般性质，并证明了损失函数相对于隐藏状态的梯度可被视为一般化的动量，可以应用经典力学的工具。此外，我们还展示了残差网络和前馈神经网络可以与微小非线性权重矩阵偏差只稍微偏离单位矩阵的微分方程相关。我们提出了一种描述这种网络的微分方程并研究了它的属性。

Sep, 2019

深度残差网络对神经常微分方程的隐式正则化

深度残差网络与神经常微分方程之间的离散化联系被建立，证明了在特定条件下网络收敛至全局最小值。

Sep, 2023

深度神经网络的稳定结构

本文提出了一种新颖的前向传播算法，其灵感来源于 ODE 系统，能够克服深度神经网络设计和训练中的挑战，并通过对稳定性和合理性的分析，发展了新的网络架构，以稳定深度学习，且具有竞争力。

May, 2017

利用凸分析和 ODE 设计稳定的神经网络

本文提出了一种 ResNet 风格的神经网络架构，编码非扩张（1-Lipschitz）算子，不同于普通的 ResNet 架构，该架构的 Lipschitz 常数不会随着网络深度的增加而呈指数级增长。进一步分析表明，权重的谱范数可以进一步约束，以确保网络是平均算子，使其成为 Plug-and-Play 算法中学习去噪器的自然候选物。通过一种新颖的自适应方法实现了谱范数约束，证明了即使有这些约束，也可以训练出性能良好的网络。提出的架构应用于对抗鲁棒图像分类问题，图像去噪以及反问题退化模糊。

Jun, 2023