Jul, 2023

基于前向时间轴的神经形态学在线学习空时模式

PDF
TL;DR针对脉冲神经网络的在线学习问题，本研究提出了适用于在线学习的神经突触自适应空时学习算法（SOLSA）。相比传统的通过时间反向传播（BPTT）算法，SOLSA 在内存需求上更低，具有更平衡的时间工作负载分配，并且通过调度权重更新、提前停止训练和自适应突触滤波等增强技术，提高了收敛速度和学习性能。与其他非 BPTT 基于的脉冲神经网络学习方法相比，SOLSA 在平均学习准确度上表现出 14.2% 的提升。此外，SOLSA 相比于 BPTT，在平均学习准确度提高了 5% 的同时，内存成本减少了 72%。
spiking neural networksonline learningsynaptic adaptationsolsalearning accuracy
发现论文，激发创造
  • 脉冲神经网络的在线时域训练

    本文提出了一种称为 OTTT 的 SNN 在线训练方法，通过跟踪神经前体活动和利用瞬时损失和梯度来实现向前的时间学习，并理论分析证明了 OTTT 的梯度能够在前馈和递归条件下提供与基于脉冲表示的梯度相似的下降方向，同时避免了 BPTT 对 GPU 训练的巨大内存成本。

    Oct, 2022

  • 神经形态算法硬件协同设计用于时间模式学习

    本文介绍了一种针对 Leaky Integrate and Fire 神经元的高效训练算法，该算法能够训练 SNN 学习复杂的时空模式，并且通过与硬件结合的方式，展示了神经元和突触基于忆阻器的网络实现的原理及优点。

    Apr, 2021

  • H2Learn: 面向高准确性尖峰神经网络的高效学习加速器

    本文提出了一种名为 H2Learn 的新型架构，可以实现基于 BPTT 的 SNN 学习的高效率，从而保证 SNN 的高精度，并在多个基准数据集上实现了大量的节省面积，加速和节能。

    Jul, 2021

  • S-TLLR: 基于 STDP 的脉冲神经网络时间局部学习规则

    提出了一种新的三因素时间局部学习规则 S-TLLR，该规则考虑了神经元之间的因果和非因果关系，可以在边缘设备上进行在线学习，并在图像和手势识别、音频分类和光流估计等应用中取得了高精度和计算复杂度降低的结果。

    Jun, 2023

  • 通过反向传播实现深度脉冲神经网络的时间尖峰序列学习

    本文提出一种 TSSL-BP 方法来训练深度的尖峰神经网络，并通过考虑突触前神经元的发放时间和处理每个神经元状态的内部演化来捕获神经元间和神经元内的依赖关系，从而提高了时间学习精度。该方法有效地在几个步骤内训练深度 SNNs，提高了诸如 CIFAR10 的各种图像分类数据集的准确性。

    Feb, 2020

  • 用于高性能脉冲神经网络训练的时空反向传播

    通过结合空间域（SD）和时间相关的时域（TD），并提出了一种适合于梯度下降训练的迭代 LIF 模型，以及脉冲活动的近似导数，本文提出了一种新的时空反向传播（STBP）训练框架，它能够使多层感知器 (MLP) 在静态 MNIST 和动态 N-MNIST 数据集以及自定义对象检测数据集上获得比现有状态 - of-the-art 算法更好的性能。该框架为未来的类脑计算范式探索高性能脉冲神经网络提供了新的视角。

    Jun, 2017

  • 基于生物学启发的循环神经网络学习的反向传播时序算法替代方案

    通过实时与合适的自上而下学习信号合并本地可用信息，为循环神经网络提供了高效的学习算法，其中包括了神经形态芯片的在线训练，从而拓宽了大脑中的网络学习理解并在实验中得到了验证。

    Jan, 2019

  • 基于目标投影的在线时空学习

    提出了一种新的在线时空学习算法 OSTTP，它解决了 BPTT 算法所遇到的种种问题，并在两个时态任务中证明了其竞争力；另外，该算法在记忆电阻神经形态硬件系统上得到了实现和展示其灵活性和适用性。

    Apr, 2023

  • EchoSpike 预测可塑性：一种用于脉冲神经网络的在线本地学习规则

    通过引入「EchoSpike Predictive Plasticity」（ESPP）学习规则，本文在多层 SNN 中探索在线本地学习的自监督学习应用，展示其与当前最先进的有监督学习规则相媲美的效果，从而为边缘神经形态计算开发出具有生物可行性的自监督学习模型，为低成本的神经形态处理器提供时空局部性突出的解决方法。

    May, 2024

  • 基于 STDP 的突触可塑性神经网络有监督学习算法

    本文提出了一种基于 Spike-Timing Dependent Plasticity (STDP) 的监督学习算法，用于基于 Leaky Integrate-and-fire (LIF) 神经元的分层 Spiking Neural Networks。该算法经 MNIST 数据集训练后，分类精度接近于使用标准反向传播算法训练的类似结构的多层感知器模型。

    Mar, 2022