本文提出了一种新的算法来训练递归神经网络，并将其与随机梯度下降进行了初步比较，结果表明该算法可以在更少的时代内实现与随机梯度下降相似的泛化准确性。该算法来源于与扩散方程相关的非凸优化理论，自然而然地产生了某些看似不相关的深度学习机制。

Jan, 2016

本文针对循环神经网络的稳定性进行了深入探究，理论上证明在推断和通过梯度下降进行训练时，稳定循环神经网络可以很好地被前馈网络近似。实验上，我们展示了基准序列任务中稳定循环模型通常能够和不稳定的对应物一样好地发挥作用。这些发现揭示了循环网络的有效力量，并暗示序列学习的大部分发生在稳定的状态下。此外，我们的结果有助于解释为什么在许多情况下，实践者成功地通过前馈模型取代循环模型。

May, 2018

该研究利用连续时间动力系统的方法，将深度残差网络理想化为动力系统，从逼近的角度研究其通用逼近性，并建立了新的近似理论，揭示了流映射逼近组合函数的新范例，促进了深度学习中有用的数学框架的建立。

Dec, 2019

本文提出了一种名为对称循环神经网络的学习算法，其可以从观察到的轨迹中捕获物理系统的动力学，并通过神经网络模型系统的哈密顿函数，结合较为复杂的多步训练和初始状态优化来解决哈密顿系统所涉及的数值问题，从而成功的处理包括噪声和复杂系统在内的哈密顿系统及其他动力学系统。并提出如何用扩展的 SRNN 集成方案来处理像弹球这样的非常振动力学系统。

Sep, 2019

提出了一个关于递归神经网络在线训练的紧凑结构，其中根据多个标准对算法进行组织：过去与未来朝向，张量结构，随机与确定性，以及闭合形式与数值。测试在两个合成任务上的表现表明，表现根据标准聚集。

Jul, 2019

本文研究了循环神经网络在数据驱动下的噪声动力学系统模拟行为，训练了一组 LSTM 网络，发现在训练噪声变大时，LSTM 更多地依赖其自主动力学而不是噪声输入数据。

Apr, 2019

本研究提出了一种基于状态空间模型的计算动力学分析方法，结合 PLRNN 和 fMRI 等神经成像数据，可以深入分析神经系统的非线性动力学特征，并为神经系统的临床评估和神经科学研究提供新的方法。

Feb, 2019

本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

May, 2015

引入了一种基于术语重写的动力系统的代数模拟，证明了递归函数应用于迭代重写系统的输出定义了一类模型，其中包括循环神经网络、图神经网络和扩散模型等所有主要的动态机器学习模型架构。从范畴论的角度来看，这些代数模型也是描述动态模型组成性的一种自然语言。此外，我们提出这些模型为将上述动态模型推广到结构化或非数值数据（包括 “混合符号 - 数值” 模型）的学习问题提供了一个模板。

Nov, 2023

本文介绍了一种训练脉冲神经网络的方法，通过结合使用连续模型网络和脉冲模型神经元，使其能够自主产生动态模式，并模拟生理数据，这提供了一种新的方法用于训练脉冲神经网络，并探讨了神经系统中表示和计算的重要问题。

Jan, 2016