通过动力系统进行深度学习：一种逼近视角
我们通过控制理论研究将深层残差神经网络作为连续动力系统的表达能力。具体而言，我们考虑从监督学习中产生的两个特性，即通用插值 - 能够匹配任意输入和目标训练样本，以及紧密相关的通用逼近 - 能够通过流映射逼近输入 - 目标函数关系。在控制结构变换族具有仿射不变性的假设下，我们给出了通用插值的表征，证明了非线性网络结构基本上都具备这一特性。此外，我们阐明了通用插值和通用逼近在一般控制系统背景下的关系，证明了这两个特性不能从彼此推导出来。同时，我们确定了控制结构和目标函数的条件，确保了这两个概念的等价性。
Sep, 2023
论文介绍了一种基于早期理论结果的算法，该算法基于反向传播和矩阵操作，可以训练前馈神经网络来近似动态系统，并将其转换为递归网络，以模拟原始系统的动态行为。
Dec, 2015
这篇文章介绍了关于神经网络的统计理论，从三个角度进行了综述：非参数回归或分类中关于神经网络过度风险的结果，神经网络的训练动力学以及生成模型中的最新理论进展。
Jan, 2024
本文基于动态系统和最优控制的视角， 将现有的深度学习理论框架进行整合， 并用随机动态的优化算法作为控制器，为超参数调整提供了一个基于原则的方法。
Aug, 2019
本文提出了一种稳定学习动态系统的方法，该方法采用联合学习动态模型和李雅普诺夫函数的方法，这样学习的系统在整个状态空间内保持稳定，同时它也能够被结合到其他深度生成模型中学习复杂的动态系统，例如视觉纹理。
Jan, 2020
本文介绍了一种基于偏微分方程框架的深度残差神经网络和相关学习问题的方法，并研究了前向问题的稳定性和最优性，同时探究了神经网络、PDE 理论、变分分析、优化控制和深度学习之间的算法和理论联系。
May, 2019
本文通过深度神经网络的 Kolmogorov 最优化来发展其基本极限，并阐述了深度网络对于不同函数类的 Kolmogorov 最优逼近性，其提供了指数级的逼近精度，并且在逼近足够光滑的函数时，相较于有限宽深网络，有限宽深层网络需要更小的连通性。
Jan, 2019
使用深度神经网络和 ResNet 来近似未知的控制方程，提出了多步方法。三种方法都基于底层动态系统的积分形式，不需要时间导数数据来恢复方程，并且可以处理相对粗糙的轨迹数据。
Nov, 2018
本文提出了深度神经网络的可连接性和内存需求的基本下限，同时证明了其实现方式适用于广泛的函数类。此外，研究表明，广义仿射系统内的全局极优逼近问题可以通过神经网络得到最优解，并通过数值实验验证了随机梯度下降算法能够学习出近乎最优的函数逼近。
May, 2017
通过计算框架来探讨深度神经网络在数值分析领域的稳定性、精确性、计算效率和样本复杂性，研究了不同维度中的测试函数和与压缩感知的比较，结果表明 DL 在实际中的性能表现仍需要进一步设计架构和训练策略。但此实践证明了深度神经网络在科学计算中具有潜在的更好性能。
Jan, 2020