本文介绍了一种基于偏微分方程框架的深度残差神经网络和相关学习问题的方法，并研究了前向问题的稳定性和最优性，同时探究了神经网络、PDE 理论、变分分析、优化控制和深度学习之间的算法和理论联系。
May, 2019
该论文通过偏微分方程的理论框架，提出了三种新型的 ResNet 神经网络架构，分别属于抛物线和双曲线类型的 CNN，能够提供深度学习的新算法和思路，并用数值实验证明了它们的竞争力。
Apr, 2018
神经微分方程是深度学习和动力系统相结合的一个研究领域，可用于解决生成式问题、动力系统和时间序列。本文提供了这个领域的深入调查，并涵盖了神经微分方程的多种类型及其相关的数值方法和符号回归。
Feb, 2022
利用深度学习方法解决高维随机偏微分方程的问题。通过使用全连接深度残差网络来逼近随机偏微分方程，在确定逼近深度神经网络的参数时，采用了 SGD 的变种，并在扩散和热传导问题上得到了验证。
Jun, 2018
使用神经网络和偏微分方程提取动态数据中的模型，参数化模型来结合空时样本相关性，在 MNIST 和 Fashion MNIST 上与其他深度神经网络进行了比较，证明本方法能够降低参数成本。
Aug, 2019
本文提出了一种高度可扩展的策略，用于从现有的科学计算中的数值离散化来开发免网格神经符号偏微分方程求解器。该策略可用于有效地训练神经网络代理模型，以保留最先进数值求解器的精度和收敛特性，基于在一组随机配置点上使离散化的微分系统残差最小化来进行神经启动。
Oct, 2022
本文利用深度前馈人工神经网络近似求解复杂几何下的偏微分方程，并演示了如何修改反向传播算法来计算网络输出对空间变量的偏导数。此方法基于一种假设解法，只需要前馈神经网络和梯度优化方法，如梯度下降或拟牛顿方法，可以作为网格法无法使用时的有效替代方案。此外，本文还阐述了深度相比于浅度神经网络的优势及其他收敛增强技术的设想。
Nov, 2017
提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。
本研究系统地分析了用作机器学习模型的微分方程的一般性质，并证明了损失函数相对于隐藏状态的梯度可被视为一般化的动量，可以应用经典力学的工具。此外，我们还展示了残差网络和前馈神经网络可以与微小非线性权重矩阵偏差只稍微偏离单位矩阵的微分方程相关。我们提出了一种描述这种网络的微分方程并研究了它的属性。
Sep, 2019
通过解决受约束的优化问题并使用类似于物理 - Informed 神经网络（PINN）的中间状态表示，我们将 PDE 表示为神经网络，以发现 PDE。我们使用惩罚方法和广泛使用的约束 - 区域障碍方法解决了此约束优化问题，并在数值示例上比较了这些方法。我们对 Burgers' 和 Korteweg-De Vreis 方程的结果表明，后一种约束方法在更高的噪声水平或更少的空间插值点上表现优于惩罚方法。对于这两种方法，我们使用传统方法（如有限差分方法）解决这些发现的神经网络 PDE，而不是依赖于自动微分的 PINNs 类型方法。我们简要介绍其他一些小但至关重要的实施细节。
May, 2024