复苏和改进递归反向传播
通过实时与合适的自上而下学习信号合并本地可用信息，为循环神经网络提供了高效的学习算法，其中包括了神经形态芯片的在线训练，从而拓宽了大脑中的网络学习理解并在实验中得到了验证。
Jan, 2019
我们提出了一种新方法来降低通过时间反向传播算法在培训循环神经网络时的内存消耗，这种方法使用动态规划来平衡中间结果的缓存和重新计算之间的折衷，并最小化计算成本。
Jun, 2016
本研究针对循环神经网络提出了一种基于扰动学习的新方法，通过在时间域内进行节点扰动，实现与反向传播方法相媲美的性能，具有超越梯度方法的优势，证明了扰动学习方法是训练循环神经网络的一种多功能替代方案。
May, 2024
本文提出了一种无需牺牲模型容量和设计复杂度，实现递归处理步骤恒定内存复杂度的学习算法 C-RBP，该算法使递归视觉模型能够探测到长距离的空间依赖关系，并在 MSCOCO 的大规模全景分割挑战中具有比主流前向方法更好的效果。
May, 2020
本文介绍一种称为离散前向灵敏度方程和其变体的反向传播方法，该方法准确而且允许网络参数在每个后续步骤之间变化，但需要计算 Jacobian 矩阵，以适应现今人工神经网络的长期依赖关系的发展趋势。
Mar, 2021
本文提出了一种适应性的 TBPTT 方案，将时间滞后问题转化为选择一定容忍梯度偏差量的问题，并对于满足几何衰减的真实 RNNs，可以通过变化截断长度来控制偏差，证明了该偏差控制了含非凸损失函数的 SGD 的收敛速度，并设计了一种实用的适应性截断长度的方法。在语言模型任务上的实验表明，适应性 TBPTT 减轻了固定 TBPTT 的计算缺陷。
May, 2019
本文介绍了一种用于训练深度 recurrent spiking neural networks 的新算法：Spike-Train level RSNNs Backpropagation (ST-RSBP)。该算法通过直接计算网络输出层中定额编码的 loss function 相对可调参数的梯度来训练 RSNNs，在 TI46、N-TIDIGITS、Fashion-MNIST 和 MNIST 等数据集上都表现出了优于当前最先进的 SNN BP 算法和传统的非 spiking 深度学习模型的准确性。
Aug, 2019
本文研究使用循环神经网络以及储备计算和时域反向传播来预测高维和低维复杂系统的时空动态，结果表明：对于长期预测混沌系统，当全部状态动态数据用于训练时，储备计算方法的预测性能优于时域反向传播，但在使用低维数据时时域反向传播方法表现更好。同时该研究还首次量化了使用时域反向传播方法的 Lyapunov 谱。
Oct, 2019
在生物神经网络中实现高效的学习需要对个体突触进行适应性调节，然而，由于时空依赖性的限制，目前对于如何进行高效的信用赋值仍然是一个值得研究的问题。本文提出了一种称为广义潜在均衡（GLE）的计算框架，用于在具有时空连续性神经动力学的物理网络中实现完全本地的时空信用赋值，该框架利用了生物神经元可以根据其膜电位相移其输出速率的能力。
Mar, 2024