本文介绍了哈密顿生成网络 (HGN) 和神经哈密顿流 (NHF)，这是第一种能够从高维度观察中连续地学习哈密顿动力学而无需限制性条件的方法，它能够可靠地从机器学习的角度解决很多问题。

Sep, 2019

本文提出了一种基于哈密顿系统的离散化的循环神经网络架构，解决长时依赖序列输入处理的梯度消失和爆炸问题，实验表明该方法在各种学习任务中提供了最先进的性能。

Mar, 2021

使用生成函数的神经网络逼近演化映射，以实现非线性时间序列的学习和预测。

Mar, 2021

本文提出了一种基于端口哈密顿形式的神经网络模型用于学习非自主系统中的动态学，能够高效地恢复非线性物理系统的动力学，时间依赖力和耗散系数，并能够学习和预测混沌系统，如Duffing方程。

Jul, 2021

提出了一种方法，通过在一种框架内结合变分自动编码器和(时空)注意力机制，从高维经验数据中学习动力系统，以实现确定一定科学动力学不变的设计，这种方法允许在任何连续时刻有效推断系统行为，是从异构数据中高效学习动态模型的一种有前途的新框架。

Jun, 2023

使用物理上知悉的神经网络方法来分析含有一种运动第一积分的非线性哈密顿系统，并提出了一种结构，将现有的哈密顿神经网络结构与Adaptable Symplectic循环神经网络相结合，可以在整个参数空间内预测动力学，保留哈密顿方程以及相空间的辛结构。同时，利用神经网络的高维非线性能力，结合Long Short Term Memory网络进行判断嵌入定理的实现，构造系统的延迟嵌入，并将拓扑不变吸引子映射到真实形式。该方法对于单参数势能有效，并且即使在较长时间内也能提供准确的预测结果。

Jul, 2023

建议了三种具备可加性可分性的Hamilton神经网络模型，通过减少状态变量之间的复杂性，更有效地回归Hamilton的向量场。

Sep, 2023

我们提出了一种新的理论方法，通过与泛化Hopf公式的建立来提高科学机器学习 (SciML) 过程的可解释性，并且该方法与最优控制问题和Hamilton-Jacobi偏微分方程 (HJ PDE) 的时间相关哈密顿量有关。同时，我们提供了一种基于Riccati的方法来解决学习问题，以应用于持续学习任务。

Nov, 2023

本论文提出了一种学习哈密顿动力学的方法，能够从有限的数据点中学习哈密顿向量场，使用具有哈密顿性质的向量场在重构核希尔伯特空间上进行正则优化，并要求向量场为奇数或偶数。通过使用辛核函数，论文展示了如何修改这个辛核函数为奇数或偶数，并通过模拟验证了该方法在两个哈密顿系统中的性能，证明了所学到的动力学是哈密顿的，并且所学到的哈密顿向量场可以指定为奇数或偶数。

Dec, 2023

我们分析了在有监督学习环境下使用梯度下降法训练的递归神经网络在动态系统中的表现，并证明了在没有大量过参数化的情况下，梯度下降法可以实现最优性。我们深入的非渐近分析 (i) 以序列长度 $T$、样本大小 $n$ 和环境维度 $d$ 为条件给出了网络大小 $m$ 和迭代复杂性 $ au$ 的精确界限，(ii) 显示了动态系统中长期依赖对收敛性和以激活函数的李普希茨连续性界限所刻画的网络宽度界限的显著影响，该界限依赖于激活函数的李普希茨连续性。值得注意的是，这个分析揭示了一个适当初始化的使用 $n$ 个样本进行训练的递归神经网络可以在网络大小 $m$ 的低次对数尺度下实现最优性。这与之前的工作形成鲜明对比，前者需要 $m$ 对 $n$ 的高阶多项式依赖来建立强正则条件。我们的结果基于对递归神经网络能够逼近和学习的动态系统类的明确描述，通过约束范数的传输映射，并且通过建立隐藏状态相对于可学习参数的局部平滑性属性来实现。

Feb, 2024