本文提出了一种使用Kronecker分解逼近梯度的KF-RTRL算法，通过在一个合理的假设下，理论分析表明，引入的噪音稳定，且渐近比UORO算法小，对于一类大的RNNs，KF-RTRL是一个无偏差和内存高效的在线学习算法，实验结果表明KF-RTRL算法可用于学习长期依赖性的任务上，并在一些任务上与TBPTT算法性能相当，提出了基于RTRL的方法可能是TBPTT的有前途的替代方法。

May, 2018

本文通过mean field理论和随机矩阵理论的结合，解析了recurrent neural networks中gating机制的信号传播机理，并通过最小化的多层感知器网络(minimalRNN)与RNN的对比，研究了它们的训练性能。提出了初始方案的动态等角分解，并通过语言建模任务，证明了最小RNN可以与LSTM或GRU等复杂网络相媲美。

Jun, 2018

本文提出了一种基于局部表示对齐算法训练的并行时间神经编码网络(P-TNCN)，用以解决通过时间反向传播所存在的困难和问题，比如序列建模基准测试中表现优异，具有零-shot适应能力和在线连续序列建模的能力。

Oct, 2018

研究RNN的训练方法，提出新的RTRL逼近算法OK-Kronecker-Sum并证明其优秀性能，经实验验证OK- Kronecker-Sum能够在真实世界任务中匹配TBPTT，在合成字符串记忆任务中优于TBPTTs。

Feb, 2019

探讨使用非正常的重复神经网络（RNNs）以解决梯度“消失/爆炸”的问题并提高“信噪比”。研究显示，具有非正常的重复连接矩阵的非正常RNN可以在序列处理任务中胜过其正交对应物。

May, 2019

提出了一个关于递归神经网络在线训练的紧凑结构，其中根据多个标准对算法进行组织：过去与未来朝向，张量结构，随机与确定性，以及闭合形式与数值。测试在两个合成任务上的表现表明，表现根据标准聚集。

Jul, 2019

介绍了Sparse n-step Approximation(SnAp)来优化Real Time Recurrent Learning(RTRL)的影响矩阵，在保持计算成本低的同时提高了网络的学习速度，特别是在稀疏网络时，n=2时的SnAp能够优于backpropagation in terms of learning speed when updates are done online。

Jun, 2020

本文提出，对于循环网络，高效的实时递归学习可以通过结合活动稀疏性和参数稀疏性得到显着的计算和存储成本节省，无需使用任何近似来学习过程。

Mar, 2023

我们分析了在有监督学习环境下使用梯度下降法训练的递归神经网络在动态系统中的表现，并证明了在没有大量过参数化的情况下，梯度下降法可以实现最优性。我们深入的非渐近分析 (i) 以序列长度 $T$、样本大小 $n$ 和环境维度 $d$ 为条件给出了网络大小 $m$ 和迭代复杂性 $ au$ 的精确界限，(ii) 显示了动态系统中长期依赖对收敛性和以激活函数的李普希茨连续性界限所刻画的网络宽度界限的显著影响，该界限依赖于激活函数的李普希茨连续性。值得注意的是，这个分析揭示了一个适当初始化的使用 $n$ 个样本进行训练的递归神经网络可以在网络大小 $m$ 的低次对数尺度下实现最优性。这与之前的工作形成鲜明对比，前者需要 $m$ 对 $n$ 的高阶多项式依赖来建立强正则条件。我们的结果基于对递归神经网络能够逼近和学习的动态系统类的明确描述，通过约束范数的传输映射，并且通过建立隐藏状态相对于可学习参数的局部平滑性属性来实现。

Feb, 2024

本研究针对递归神经网络的训练难题，特别是梯度消失和爆炸问题，提出了一种新的计算方法，无需依赖梯度基的方法。通过结合随机特征网络与库曼算子理论，研究表明该方法在训练时间和预测准确性上显著优于传统的梯度基方法，具有重要的应用潜力。

Oct, 2024