不需回溯的在线循环网络训练
本文介绍一种称为离散前向灵敏度方程和其变体的反向传播方法，该方法准确而且允许网络参数在每个后续步骤之间变化，但需要计算 Jacobian 矩阵，以适应现今人工神经网络的长期依赖关系的发展趋势。
Mar, 2021
通过实时与合适的自上而下学习信号合并本地可用信息，为循环神经网络提供了高效的学习算法，其中包括了神经形态芯片的在线训练，从而拓宽了大脑中的网络学习理解并在实验中得到了验证。
Jan, 2019
我们提出了一种新方法来降低通过时间反向传播算法在培训循环神经网络时的内存消耗，这种方法使用动态规划来平衡中间结果的缓存和重新计算之间的折衷，并最小化计算成本。
Jun, 2016
我们提出了一种新颖的强化学习算法，名为实时循环强化学习 (RTRRL)，通过利用随机反馈局部在线学习 (RFLO) 近似实时递归学习 (RTRL) 来计算循环神经网络参数的梯度，并结合具有资格迹的时序差分强化学习 (TD (λ))，能在部分可观测马尔可夫决策过程 (POMDPs) 中解决离散和连续控制任务，达到生物可行并超越了传统的时间反向传播算法 (BPTT)。该方法模拟哺乳动物大脑奖励途径的生物神经网络进行学习。
Nov, 2023
本研究针对循环神经网络提出了一种基于扰动学习的新方法，通过在时间域内进行节点扰动，实现与反向传播方法相媲美的性能，具有超越梯度方法的优势，证明了扰动学习方法是训练循环神经网络的一种多功能替代方案。
May, 2024
提出了一种新的在线时空学习算法 OSTTP，它解决了 BPTT 算法所遇到的种种问题，并在两个时态任务中证明了其竞争力；另外，该算法在记忆电阻神经形态硬件系统上得到了实现和展示其灵活性和适用性。
Apr, 2023
本研究提出了一种新的即时参数更新方法，通过消除每层计算梯度的需要来加速学习、避免梯度消失问题，并在基准数据集上优于最先进的方法，为高效有效的深度神经网络训练提供了一个有希望的方向。
Aug, 2023