本文提出了一种称为 OTTT 的 SNN 在线训练方法，通过跟踪神经前体活动和利用瞬时损失和梯度来实现向前的时间学习，并理论分析证明了 OTTT 的梯度能够在前馈和递归条件下提供与基于脉冲表示的梯度相似的下降方向，同时避免了 BPTT 对 GPU 训练的巨大内存成本。

Oct, 2022

针对脉冲神经网络的在线学习问题，本研究提出了适用于在线学习的神经突触自适应空时学习算法（SOLSA）。相比传统的通过时间反向传播（BPTT）算法，SOLSA 在内存需求上更低，具有更平衡的时间工作负载分配，并且通过调度权重更新、提前停止训练和自适应突触滤波等增强技术，提高了收敛速度和学习性能。与其他非 BPTT 基于的脉冲神经网络学习方法相比，SOLSA 在平均学习准确度上表现出 14.2% 的提升。此外，SOLSA 相比于 BPTT，在平均学习准确度提高了 5% 的同时，内存成本减少了 72%。

Jul, 2023

在线学习在脉冲神经网络中的推动作用是发展事件驱动模型以适应不断变化的环境并能够实时从连续数据流中学习的一项关键步骤。我们提出了一种名为 OTPE 的在线培训方法，用于训练前馈式脉冲神经网络，该方法通过引入时间动态来近似实时递归学习（RTRL），并克服了现有近似方法所无法捕捉的时间效应。我们证明了该方法在多层网络中具有更好的可扩展性，并且所需的计算开销与类似算法相比非常小。此外，OTPE 在深度网络中展现出与通过时间反向传播计算的准确梯度最高的方向一致性，并且在基于时间编码的情况下优于其他近似方法。我们还观察到，在具有相同超参数的 Spiking Heidelberg Digits 的离线训练中，OTPE 相比于其他类似算法有显著的性能提升（OTTT/OSTL 为 70.5%，OTPE 为 75.2%，BPTT 为 78.1%）。

Nov, 2023

这篇论文介绍了一种基于循环神经网络的状态构建方法，提出了能够让实时递归学习可扩展的两个约束条件，并在基准测试和政策评估中证明了其有效性。

Jan, 2023

通过实时与合适的自上而下学习信号合并本地可用信息，为循环神经网络提供了高效的学习算法，其中包括了神经形态芯片的在线训练，从而拓宽了大脑中的网络学习理解并在实验中得到了验证。

Jan, 2019

在生物神经网络中实现高效的学习需要对个体突触进行适应性调节，然而，由于时空依赖性的限制，目前对于如何进行高效的信用赋值仍然是一个值得研究的问题。本文提出了一种称为广义潜在均衡（GLE）的计算框架，用于在具有时空连续性神经动力学的物理网络中实现完全本地的时空信用赋值，该框架利用了生物神经元可以根据其膜电位相移其输出速率的能力。

Mar, 2024

本文提出，对于循环网络，高效的实时递归学习可以通过结合活动稀疏性和参数稀疏性得到显着的计算和存储成本节省，无需使用任何近似来学习过程。

Mar, 2023

提出了一种新的三因素时间局部学习规则 S-TLLR，该规则考虑了神经元之间的因果和非因果关系，可以在边缘设备上进行在线学习，并在图像和手势识别、音频分类和光流估计等应用中取得了高精度和计算复杂度降低的结果。

Jun, 2023

本研究中，我们分析了一种叫做目标传播（TP）的替代反向传播（BP）的方法，从数学优化的角度进行了研究，并发现了它的基本限制。我们提出了一个创新性的重构损失来改善反馈权重训练，并通过允许直接反馈连接从输出到每个隐藏层来引入架构灵活性。实验结果表明，与差分目标传播（DTP）相比，性能得到了显著提高，并且前向权重更新与损失梯度的对准得到了改善。

Jun, 2020

为了学习长期依赖性，本文提出了一种新算法，在过去状态中关联与当前状态相关的记忆，通过注意力机制实现长期跳跃连接，用于逐步向过去传递信用分配，该算法相对于有反向传播实现的算法具有更好的性能。

Sep, 2018