介绍了一种新算法，NoBackTrack，可用于训练动态系统参数，与传统算法相比，该算法无需进行时间反向传播，缩短计算和内存成本，并可扩展到包括递归神经网络在内的各种动态系统。

Jul, 2015

本文指出，关于促进稀疏性的更强大的贝叶斯算法具有类似于长短期记忆(LSTM)网络或先前设计用于序列预测的替代门控反馈网络的结构，从而导致了一种新的稀疏估计系统，当授予训练数据时，可以在其他算法失败的方案中高效地估计最优解，包括在实际方向-到达(DOA)和三维几何恢复问题中。

Jun, 2017

本文提出了一种使用Kronecker分解逼近梯度的KF-RTRL算法，通过在一个合理的假设下，理论分析表明，引入的噪音稳定，且渐近比UORO算法小，对于一类大的RNNs，KF-RTRL是一个无偏差和内存高效的在线学习算法，实验结果表明KF-RTRL算法可用于学习长期依赖性的任务上，并在一些任务上与TBPTT算法性能相当，提出了基于RTRL的方法可能是TBPTT的有前途的替代方法。

May, 2018

本文提出了一种基于局部表示对齐算法训练的并行时间神经编码网络(P-TNCN)，用以解决通过时间反向传播所存在的困难和问题，比如序列建模基准测试中表现优异，具有零-shot适应能力和在线连续序列建模的能力。

Oct, 2018

研究RNN的训练方法，提出新的RTRL逼近算法OK-Kronecker-Sum并证明其优秀性能，经实验验证OK- Kronecker-Sum能够在真实世界任务中匹配TBPTT，在合成字符串记忆任务中优于TBPTTs。

Feb, 2019

这篇论文通过引入一种基于循环雅可比谱的新的循环网络修剪目标，提出了一种高效数据、易于实现的处理方案，能够解决循环网络修剪中的定量和定性问题，并在连续MNIST、十亿词、Wikitext等任务中取得了长足进展。

Nov, 2019

这篇论文介绍了一种基于循环神经网络的状态构建方法，提出了能够让实时递归学习可扩展的两个约束条件，并在基准测试和政策评估中证明了其有效性。

Jan, 2023

本文提出，对于循环网络，高效的实时递归学习可以通过结合活动稀疏性和参数稀疏性得到显着的计算和存储成本节省，无需使用任何近似来学习过程。

Mar, 2023

本文研究了将实时递归学习和策略梯度相结合的演员-评论员方法在DMLab、ProcGen和Atari-2600环境中的应用，结果表明，在DMLab记忆任务中，我们的系统相比于训练了10 B 帧的IMPALA和R2D2基线的系统，只需训练不到1.2 B个环境帧就能够达到很好的性能表现。

May, 2023

我们分析了在有监督学习环境下使用梯度下降法训练的递归神经网络在动态系统中的表现，并证明了在没有大量过参数化的情况下，梯度下降法可以实现最优性。我们深入的非渐近分析 (i) 以序列长度 $T$、样本大小 $n$ 和环境维度 $d$ 为条件给出了网络大小 $m$ 和迭代复杂性 $ au$ 的精确界限，(ii) 显示了动态系统中长期依赖对收敛性和以激活函数的李普希茨连续性界限所刻画的网络宽度界限的显著影响，该界限依赖于激活函数的李普希茨连续性。值得注意的是，这个分析揭示了一个适当初始化的使用 $n$ 个样本进行训练的递归神经网络可以在网络大小 $m$ 的低次对数尺度下实现最优性。这与之前的工作形成鲜明对比，前者需要 $m$ 对 $n$ 的高阶多项式依赖来建立强正则条件。我们的结果基于对递归神经网络能够逼近和学习的动态系统类的明确描述，通过约束范数的传输映射，并且通过建立隐藏状态相对于可学习参数的局部平滑性属性来实现。

Feb, 2024