Jul, 2021

H2Learn: 面向高准确性尖峰神经网络的高效学习加速器

PDF
TL;DR本文提出了一种名为 H2Learn 的新型架构，可以实现基于 BPTT 的 SNN 学习的高效率，从而保证 SNN 的高精度，并在多个基准数据集上实现了大量的节省面积，加速和节能。
发现论文，激发创造
  • 脉冲神经网络的在线时域训练

    本文提出了一种称为 OTTT 的 SNN 在线训练方法，通过跟踪神经前体活动和利用瞬时损失和梯度来实现向前的时间学习，并理论分析证明了 OTTT 的梯度能够在前馈和递归条件下提供与基于脉冲表示的梯度相似的下降方向，同时避免了 BPTT 对 GPU 训练的巨大内存成本。

    Oct, 2022

  • 在具有不同局部性的脉冲神经网络学习方法方面的基准测试

    Spiking Neural Networks (SNNs) achieve performance comparable to Artificial Neural Networks (ANNs) in machine learning tasks, with processing done through spikes in an event-based mechanism that reduces energy consumption. However, training SNNs is challenging due to the non-differentiable spiking mechanism, and alternative learning methods with varying degrees of locality have been proposed. This research explores the training process similarities, the influence of explicit recurrence, and the performance of local learning methods under adversarial attacks.

    Feb, 2024

  • 基于前向时间轴的神经形态学在线学习空时模式

    针对脉冲神经网络的在线学习问题，本研究提出了适用于在线学习的神经突触自适应空时学习算法（SOLSA）。相比传统的通过时间反向传播（BPTT）算法，SOLSA 在内存需求上更低，具有更平衡的时间工作负载分配，并且通过调度权重更新、提前停止训练和自适应突触滤波等增强技术，提高了收敛速度和学习性能。与其他非 BPTT 基于的脉冲神经网络学习方法相比，SOLSA 在平均学习准确度上表现出 14.2% 的提升。此外，SOLSA 相比于 BPTT，在平均学习准确度提高了 5% 的同时，内存成本减少了 72%。

    Jul, 2023

  • 基于生物学启发的循环神经网络学习的反向传播时序算法替代方案

    通过实时与合适的自上而下学习信号合并本地可用信息，为循环神经网络提供了高效的学习算法，其中包括了神经形态芯片的在线训练，从而拓宽了大脑中的网络学习理解并在实验中得到了验证。

    Jan, 2019

  • 用于高性能脉冲神经网络训练的时空反向传播

    通过结合空间域（SD）和时间相关的时域（TD），并提出了一种适合于梯度下降训练的迭代 LIF 模型，以及脉冲活动的近似导数，本文提出了一种新的时空反向传播（STBP）训练框架，它能够使多层感知器 (MLP) 在静态 MNIST 和动态 N-MNIST 数据集以及自定义对象检测数据集上获得比现有状态 - of-the-art 算法更好的性能。该框架为未来的类脑计算范式探索高性能脉冲神经网络提供了新的视角。

    Jun, 2017

  • S-TLLR: 基于 STDP 的脉冲神经网络时间局部学习规则

    提出了一种新的三因素时间局部学习规则 S-TLLR，该规则考虑了神经元之间的因果和非因果关系，可以在边缘设备上进行在线学习，并在图像和手势识别、音频分类和光流估计等应用中取得了高精度和计算复杂度降低的结果。

    Jun, 2023

  • 使用混合宏观 / 微观级反向传播训练深度脉冲神经网络

    提出了一种混合宏 / 微水平反向传播算法（HM2-BP）来训练多层次的尖峰神经网络（SNNs），实现了精确捕捉时间效应，并解决了现有 BP 方法的局限性，在新型 N-MNIST 数据集上取得了 98.88% 的准确率和 99.49% 的准确率 milestone，在 EMNIST 数据集和 TI46 语音语料库上均取得了高识别精度。

    May, 2018

  • 重新审视批量归一化，为了从头开始训练低延迟的深度脉冲神经网络

    该研究论文提出了一种名为 BNTT 的时域批量归一化技术，用于 SNNs 的训练，通过不同时间间隔上的可学习参数，允许神经元控制它的脉冲率，从而实现低延迟和低能耗的训练，首次在复杂数据集上从无到有地训练深层 SNNs，并使用 BNTT 中的参数分布来减少推理的延迟，进一步提高能效。

    Oct, 2020

  • 通过反向传播实现深度脉冲神经网络的时间尖峰序列学习

    本文提出一种 TSSL-BP 方法来训练深度的尖峰神经网络，并通过考虑突触前神经元的发放时间和处理每个神经元状态的内部演化来捕获神经元间和神经元内的依赖关系，从而提高了时间学习精度。该方法有效地在几个步骤内训练深度 SNNs，提高了诸如 CIFAR10 的各种图像分类数据集的准确性。

    Feb, 2020

  • 一种基于对称 STDP 规则的脉冲神经网络生物学可行的监督学习方法

    本文提出了一种基于神经科学中对称性脉冲定时相关塑性规则的生物可行的 SNN 模型，该模型结合生物可行的突触缩放和动态阈值的内在可塑性来实现监督学习，并在标准识别任务中实现了良好的性能，其学习规则基于局部脉冲事件，因此可以轻松应用于神经形态硬件，有助于理解生物神经系统内部的监督学习信息处理机制。

    Dec, 2018