神经网络物理模拟器中的不稳定性问题
通过分析网络轨迹和学习过程中的动力学特性，研究了浅层神经网络在简单分类任务中的演化过程，发现不同学习速率下的动力学和轨道稳定性，这一发现与神经网络和动力学系统理论的常见智慧相对照，为动力系统理论、网络理论和机器学习之间的相互交流提供了贡献。
Apr, 2024
通过对深度线性神经网络的学习动态进行系统分析，我们发现这些网络表现出类似于非线性神经网络的非线性学习现象，包括长时间的平原，然后快速转换到更低误差的解决方案，以及从贪婪的无监督预训练初始条件下的更快收敛等。同时，我们发现在权重的某些特殊初始条件下，非监督预训练可以找到这些初始条件，同时表现出深度独立的学习时间，而随机高斯初始化则做不到。
Dec, 2013
使用局部稳定性分析的数学框架，我们研究了前馈神经网络学习动力学的深层理解，推导了三层神经网络在学习回归任务时的切线算子方程，结果适用于任意节点数和任意激活函数的选择。我们通过数值方法应用这些结果于网络学习回归任务中，调查了稳定性指标与最终训练损失之间的关系。虽然具体结果会因初始条件和激活函数的不同而有所变化，我们证明了通过监测训练过程中的有限时间 Lyapunov 指数或协变 Lyapunov 向量，可以预测最终的训练损失。
Apr, 2024
使用物理上知悉的神经网络方法来分析含有一种运动第一积分的非线性哈密顿系统，并提出了一种结构，将现有的哈密顿神经网络结构与 Adaptable Symplectic 循环神经网络相结合，可以在整个参数空间内预测动力学，保留哈密顿方程以及相空间的辛结构。同时，利用神经网络的高维非线性能力，结合 Long Short Term Memory 网络进行判断嵌入定理的实现，构造系统的延迟嵌入，并将拓扑不变吸引子映射到真实形式。该方法对于单参数势能有效，并且即使在较长时间内也能提供准确的预测结果。
Jul, 2023
本文介绍了一种基于神经网络的不同 iable rigid-body 物理引擎来学习动力学关系以及对其进行自动发现，替代了常规的解析式建模，使用神经网络能加速基于模型的控制架构，提高建模和控制的准确度。
Nov, 2020
学习非线性动力系统的神经动力学模型，保持模型的耗散性特性是一个困难的问题。本文通过两个阶段的学习方法，首先得到一个接近系统动力学的神经动力学模型，然后通过权重和偏置的扰动问题解决模型的耗散性和贴近非线性系统轨迹的问题，确保得到一个保证耗散性且接近非线性系统的神经动力学模型。
Sep, 2023
利用物理学基础知识作为先验知识，通过将物理学基础知识注入到神经网络结构中，从轨迹数据中学习动力学模型，并在模型的训练过程中通过增广拉格朗日法强制实施物理学知识约束，实验证明该做法比不包括先验知识的基线方法在相同的训练数据集上能够将系统动力学预测准确率提升两个数量级。
Sep, 2021
本文介绍了基于随机矩阵的框架来分析单层线性网络在大维度和规模数据上通过梯度下降训练的学习动态，并对神经网络中的过拟合、早停和训练初始化等问题提供了深入的见解，为进一步研究今天神经网络中出现的更复杂的结构和模型打开了大门。
May, 2018
论文介绍了一种基于早期理论结果的算法，该算法基于反向传播和矩阵操作，可以训练前馈神经网络来近似动态系统，并将其转换为递归网络，以模拟原始系统的动态行为。
Dec, 2015