Aug, 2019

用于训练深度递归脉冲神经网络的脉冲序列级反向传播

PDF
TL;DR本文介绍了一种用于训练深度 recurrent spiking neural networks 的新算法：Spike-Train level RSNNs Backpropagation (ST-RSBP)。该算法通过直接计算网络输出层中定额编码的 loss function 相对可调参数的梯度来训练 RSNNs，在 TI46、N-TIDIGITS、Fashion-MNIST 和 MNIST 等数据集上都表现出了优于当前最先进的 SNN BP 算法和传统的非 spiking 深度学习模型的准确性。
spiking neural networksrecurrent spiking neural networksbackpropagationtrainingspike-train level rsnns backpropagation
发现论文，激发创造
  • 通过反向传播实现深度脉冲神经网络的时间尖峰序列学习

    本文提出一种 TSSL-BP 方法来训练深度的尖峰神经网络，并通过考虑突触前神经元的发放时间和处理每个神经元状态的内部演化来捕获神经元间和神经元内的依赖关系，从而提高了时间学习精度。该方法有效地在几个步骤内训练深度 SNNs，提高了诸如 CIFAR10 的各种图像分类数据集的准确性。

    Feb, 2020

  • 用于高性能脉冲神经网络训练的时空反向传播

    通过结合空间域（SD）和时间相关的时域（TD），并提出了一种适合于梯度下降训练的迭代 LIF 模型，以及脉冲活动的近似导数，本文提出了一种新的时空反向传播（STBP）训练框架，它能够使多层感知器 (MLP) 在静态 MNIST 和动态 N-MNIST 数据集以及自定义对象检测数据集上获得比现有状态 - of-the-art 算法更好的性能。该框架为未来的类脑计算范式探索高性能脉冲神经网络提供了新的视角。

    Jun, 2017

  • 使用生物合理奖励传播调整卷积脉冲神经网络

    该论文提出一种基于奖励传播的算法，该算法应用于脉冲神经网络（SNN）架构中的脉冲卷积和全连接层，该算法能够替代标准反向传播算法，实现对 SNN 的训练。使用该算法的 SNN 在空间和时间任务上的表现已经得到验证，达到了 BP-SNN 的类似准确度并节省了 50％的计算成本。

    Oct, 2020

  • 基于生物学启发的循环神经网络学习的反向传播时序算法替代方案

    通过实时与合适的自上而下学习信号合并本地可用信息，为循环神经网络提供了高效的学习算法，其中包括了神经形态芯片的在线训练，从而拓宽了大脑中的网络学习理解并在实验中得到了验证。

    Jan, 2019

  • 利用混合转换和时序相关反向传播使深度脉冲神经网络可行

    提出了一种基于深度 Spiking Neural Networks 的计算高效的训练方法，使用一个经过转换后的 SNN 为基础，使用脉冲反向传播进行深度训练，再逐步执行基于时序的反向传播，实现训练复杂度大幅降低，极大地减少了处理输入所需的时间步骤。

    May, 2020

  • 使用反向传播训练深度脉冲神经网络

    该论文介绍了一种新技术，将尖峰神经元的电位视为可微信号，从而在较少的精度损失的情况下通过误差反向传播机制直接对尖峰信号和电位进行训练，这使得深度尖峰神经网络比以往的间接训练方法表现更好，能够更精确地捕获尖峰的静态特征。测试结果表明，该算法在 MNIST 和 N-MNIST 数据集上比以往的 SNNs 方法表现更好。

    Aug, 2016

  • 使用混合宏观 / 微观级反向传播训练深度脉冲神经网络

    提出了一种混合宏 / 微水平反向传播算法（HM2-BP）来训练多层次的尖峰神经网络（SNNs），实现了精确捕捉时间效应，并解决了现有 BP 方法的局限性，在新型 N-MNIST 数据集上取得了 98.88% 的准确率和 99.49% 的准确率 milestone，在 EMNIST 数据集和 TI46 语音语料库上均取得了高识别精度。

    May, 2018

  • 深入研究直接训练更大尺寸的脉冲神经网络

    提出了一种基于阈值相关批归一化（tdBN）和空间时间反向传播（STBP）的方法，可直接训练深度脉冲神经网络（SNN），并在神经形态硬件上实现其推理，单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率，是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。

    Oct, 2020

  • 深度脉冲神经网络反向传播的修正线性突触后电位函数

    本文介绍了一个针对 DeepSNNs 设计的 Spike-Timing-Dependent Back-Propagation 学习算法，并提供了一种新的思路，探讨了时序动态、突触可塑性和决策等方面对信息编码的贡献，为未来 DeepSNNs 和神经形态硬件系统的设计提供了新的视角和方法。

    Mar, 2020

  • 为训练深度神经网络架构实现基于脉冲的反向传播

    通过引入近似导数方法和基于脉冲的反向传播方法，本文提出一种可以直接训练深度脉冲神经网络的方法，实验结果表明，该方法在 MNIST、SVHN 和 CIFAR-10 数据集上取得了比其他基于脉冲的神经网络更好的分类效果。

    Mar, 2019