Oct, 2022

脉冲神经网络的在线时域训练

PDF
TL;DR本文提出了一种称为 OTTT 的 SNN 在线训练方法，通过跟踪神经前体活动和利用瞬时损失和梯度来实现向前的时间学习，并理论分析证明了 OTTT 的梯度能够在前馈和递归条件下提供与基于脉冲表示的梯度相似的下降方向，同时避免了 BPTT 对 GPU 训练的巨大内存成本。
spiking neural networksonline trainingbackpropagationpresynaptic activitieshebbian learning
发现论文，激发创造
  • 在线训练前馈 SNNs 时的估计后突触效应

    在线学习在脉冲神经网络中的推动作用是发展事件驱动模型以适应不断变化的环境并能够实时从连续数据流中学习的一项关键步骤。我们提出了一种名为 OTPE 的在线培训方法，用于训练前馈式脉冲神经网络，该方法通过引入时间动态来近似实时递归学习（RTRL），并克服了现有近似方法所无法捕捉的时间效应。我们证明了该方法在多层网络中具有更好的可扩展性，并且所需的计算开销与类似算法相比非常小。此外，OTPE 在深度网络中展现出与通过时间反向传播计算的准确梯度最高的方向一致性，并且在基于时间编码的情况下优于其他近似方法。我们还观察到，在具有相同超参数的 Spiking Heidelberg Digits 的离线训练中，OTPE 相比于其他类似算法有显著的性能提升（OTTT/OSTL 为 70.5%，OTPE 为 75.2%，BPTT 为 78.1%）。

    Nov, 2023

  • 基于生物学启发的循环神经网络学习的反向传播时序算法替代方案

    通过实时与合适的自上而下学习信号合并本地可用信息，为循环神经网络提供了高效的学习算法，其中包括了神经形态芯片的在线训练，从而拓宽了大脑中的网络学习理解并在实验中得到了验证。

    Jan, 2019

  • 基于前向时间轴的神经形态学在线学习空时模式

    针对脉冲神经网络的在线学习问题，本研究提出了适用于在线学习的神经突触自适应空时学习算法（SOLSA）。相比传统的通过时间反向传播（BPTT）算法，SOLSA 在内存需求上更低，具有更平衡的时间工作负载分配，并且通过调度权重更新、提前停止训练和自适应突触滤波等增强技术，提高了收敛速度和学习性能。与其他非 BPTT 基于的脉冲神经网络学习方法相比，SOLSA 在平均学习准确度上表现出 14.2% 的提升。此外，SOLSA 相比于 BPTT，在平均学习准确度提高了 5% 的同时，内存成本减少了 72%。

    Jul, 2023

  • 重新审视批量归一化，为了从头开始训练低延迟的深度脉冲神经网络

    该研究论文提出了一种名为 BNTT 的时域批量归一化技术，用于 SNNs 的训练，通过不同时间间隔上的可学习参数，允许神经元控制它的脉冲率，从而实现低延迟和低能耗的训练，首次在复杂数据集上从无到有地训练深层 SNNs，并使用 BNTT 中的参数分布来减少推理的延迟，进一步提高能效。

    Oct, 2020

  • 有效训练脉冲神经网络的脉冲累积转发

    我们提出了一种新的训练脉冲神经网络（SNNs）的范式，即脉冲积累转发（SAF）。SAF 能够在前向过程中减少一半的操作并且与脉冲表示法和在线时间训练（OTTT）相一致，通过实验证实此内容，同时在保持准确性的同时减少了内存和训练时间。

    Oct, 2023

  • 基于目标投影的在线时空学习

    提出了一种新的在线时空学习算法 OSTTP，它解决了 BPTT 算法所遇到的种种问题，并在两个时态任务中证明了其竞争力；另外，该算法在记忆电阻神经形态硬件系统上得到了实现和展示其灵活性和适用性。

    Apr, 2023

  • 通过梯度重新加权实现脉冲神经网络的时间高效训练

    本文介绍了一种时间效率训练（TET）方法，以解决直接使用代理梯度进行训练的脉冲神经网络（SNNs）普遍存在的推广性差的问题，并且证明了该方法在各种数据集上超过了其他方法，尤其在 DVS-CIFAR10 上达到了 83% 的准确率，优于现有技术。

    Feb, 2022

  • 用于高性能脉冲神经网络训练的时空反向传播

    通过结合空间域（SD）和时间相关的时域（TD），并提出了一种适合于梯度下降训练的迭代 LIF 模型，以及脉冲活动的近似导数，本文提出了一种新的时空反向传播（STBP）训练框架，它能够使多层感知器 (MLP) 在静态 MNIST 和动态 N-MNIST 数据集以及自定义对象检测数据集上获得比现有状态 - of-the-art 算法更好的性能。该框架为未来的类脑计算范式探索高性能脉冲神经网络提供了新的视角。

    Jun, 2017

  • H2Learn: 面向高准确性尖峰神经网络的高效学习加速器

    本文提出了一种名为 H2Learn 的新型架构，可以实现基于 BPTT 的 SNN 学习的高效率，从而保证 SNN 的高精度，并在多个基准数据集上实现了大量的节省面积，加速和节能。

    Jul, 2021

  • 在具有不同局部性的脉冲神经网络学习方法方面的基准测试

    Spiking Neural Networks (SNNs) achieve performance comparable to Artificial Neural Networks (ANNs) in machine learning tasks, with processing done through spikes in an event-based mechanism that reduces energy consumption. However, training SNNs is challenging due to the non-differentiable spiking mechanism, and alternative learning methods with varying degrees of locality have been proposed. This research explores the training process similarities, the influence of explicit recurrence, and the performance of local learning methods under adversarial attacks.

    Feb, 2024