高效使用内存的时间反向传播
本文介绍一种称为离散前向灵敏度方程和其变体的反向传播方法，该方法准确而且允许网络参数在每个后续步骤之间变化，但需要计算 Jacobian 矩阵，以适应现今人工神经网络的长期依赖关系的发展趋势。
Mar, 2021
本文提出了一种适应性的 TBPTT 方案，将时间滞后问题转化为选择一定容忍梯度偏差量的问题，并对于满足几何衰减的真实 RNNs，可以通过变化截断长度来控制偏差，证明了该偏差控制了含非凸损失函数的 SGD 的收敛速度，并设计了一种实用的适应性截断长度的方法。在语言模型任务上的实验表明，适应性 TBPTT 减轻了固定 TBPTT 的计算缺陷。
May, 2019
为了学习长期依赖性，本文提出了一种新算法，在过去状态中关联与当前状态相关的记忆，通过注意力机制实现长期跳跃连接，用于逐步向过去传递信用分配，该算法相对于有反向传播实现的算法具有更好的性能。
Sep, 2018
本研究针对循环神经网络提出了一种基于扰动学习的新方法，通过在时间域内进行节点扰动，实现与反向传播方法相媲美的性能，具有超越梯度方法的优势，证明了扰动学习方法是训练循环神经网络的一种多功能替代方案。
May, 2024
本文重新审视了递归反向传播算法（RBP）及其适用条件，提出了基于共轭梯度和 Neumann 级数的两个改进算法，并在三个不同的应用领域进行了实验。实验证明，尤其是 Neumann-RBP 变体，对于优化收敛的循环神经网络效率高且有效。
Mar, 2018
通过实时与合适的自上而下学习信号合并本地可用信息，为循环神经网络提供了高效的学习算法，其中包括了神经形态芯片的在线训练，从而拓宽了大脑中的网络学习理解并在实验中得到了验证。
Jan, 2019
本文研究使用循环神经网络以及储备计算和时域反向传播来预测高维和低维复杂系统的时空动态，结果表明：对于长期预测混沌系统，当全部状态动态数据用于训练时，储备计算方法的预测性能优于时域反向传播，但在使用低维数据时时域反向传播方法表现更好。同时该研究还首次量化了使用时域反向传播方法的 Lyapunov 谱。
Oct, 2019
通过实现神经元活动的动态稀疏化，提出了一种基于门控循环单元（GRU）并适用于新颖的节能神经形态硬件的递归神经网络（RNN）的通信稀疏离散化解决方案。该模型在不影响任务性能的前提下实现了高效，与现有最先进的循环神经网络模型在语言建模等实际任务中表现同样出色。
Jun, 2022