Mar, 2020

深度脉冲神经网络反向传播的修正线性突触后电位函数

PDF
TL;DR本文介绍了一个针对 DeepSNNs 设计的 Spike-Timing-Dependent Back-Propagation 学习算法，并提供了一种新的思路，探讨了时序动态、突触可塑性和决策等方面对信息编码的贡献，为未来 DeepSNNs 和神经形态硬件系统的设计提供了新的视角和方法。
spiking neural networksdeep spiking neural networksspike-timing-dependent back-propagationneuromorphic hardware systemssynaptic plasticity
发现论文，激发创造
  • 通过反向传播实现深度脉冲神经网络的时间尖峰序列学习

    本文提出一种 TSSL-BP 方法来训练深度的尖峰神经网络，并通过考虑突触前神经元的发放时间和处理每个神经元状态的内部演化来捕获神经元间和神经元内的依赖关系，从而提高了时间学习精度。该方法有效地在几个步骤内训练深度 SNNs，提高了诸如 CIFAR10 的各种图像分类数据集的准确性。

    Feb, 2020

  • 用于训练深度递归脉冲神经网络的脉冲序列级反向传播

    本文介绍了一种用于训练深度 recurrent spiking neural networks 的新算法：Spike-Train level RSNNs Backpropagation (ST-RSBP)。该算法通过直接计算网络输出层中定额编码的 loss function 相对可调参数的梯度来训练 RSNNs，在 TI46、N-TIDIGITS、Fashion-MNIST 和 MNIST 等数据集上都表现出了优于当前最先进的 SNN BP 算法和传统的非 spiking 深度学习模型的准确性。

    Aug, 2019

  • 基于脉冲卷积神经网络中的尖峰时间位移误差反向传播

    本文在先前提出的 STiDi-BP 算法基础上，使用线性逼近计算膜电位对尖峰潜伏期的导数，采用分段线性的 postsynaptic potential 的尖峰神经元来减少计算成本和神经处理的复杂度，并将其扩展到更深的 SNN 与卷积架构中，同时考虑到降低存储量和计算成本，使用二进制权重的卷积 SNN 在 MNIST 和 Fashion-MNIST 数据集上具有近似真实值权重的性能。

    Aug, 2021

  • 用于高性能脉冲神经网络训练的时空反向传播

    通过结合空间域（SD）和时间相关的时域（TD），并提出了一种适合于梯度下降训练的迭代 LIF 模型，以及脉冲活动的近似导数，本文提出了一种新的时空反向传播（STBP）训练框架，它能够使多层感知器 (MLP) 在静态 MNIST 和动态 N-MNIST 数据集以及自定义对象检测数据集上获得比现有状态 - of-the-art 算法更好的性能。该框架为未来的类脑计算范式探索高性能脉冲神经网络提供了新的视角。

    Jun, 2017

  • BP-STDP: 使用时序相关可塑性近似反向传播

    本文提出一种基于事件驱动的脉冲时序依赖可塑性 (Spike-Timing-Dependent Plasticity, STDP) 规则的监督学习方法，可以在保持计算精度的同时提高计算效率，特别适用于脉冲神经网络 (Spiking Neural Networks, SNNs)。实验结果表明，该方法可以较好地处理 XOR 问题、鸢尾花数据以及 MNIST 数据集，表现与传统神经网络相当，甚至比目前最先进的多层 SNNs 效果更好。

    Nov, 2017

  • 使用反向传播训练深度脉冲神经网络

    该论文介绍了一种新技术，将尖峰神经元的电位视为可微信号，从而在较少的精度损失的情况下通过误差反向传播机制直接对尖峰信号和电位进行训练，这使得深度尖峰神经网络比以往的间接训练方法表现更好，能够更精确地捕获尖峰的静态特征。测试结果表明，该算法在 MNIST 和 N-MNIST 数据集上比以往的 SNNs 方法表现更好。

    Aug, 2016

  • 使用生物合理奖励传播调整卷积脉冲神经网络

    该论文提出一种基于奖励传播的算法，该算法应用于脉冲神经网络（SNN）架构中的脉冲卷积和全连接层，该算法能够替代标准反向传播算法，实现对 SNN 的训练。使用该算法的 SNN 在空间和时间任务上的表现已经得到验证，达到了 BP-SNN 的类似准确度并节省了 50％的计算成本。

    Oct, 2020

  • Desire Backpropagation: 基于时序相关塑性的多层脉冲神经网络的轻量级训练算法

    该论文介绍了一种名为 desire backpropagation 的方法，它利用 STDP 的权重更新，实现了全局误差最小化和分类准确率的提高；同时，该方法具有 STDP 的神经动力学和计算效率，是一种基于脉冲的监督学习规则。作者使用 desire backpropagation 对 MNIST 和 Fashion-MNIST 图像进行了分类，实验效果良好。

    Nov, 2022

  • 使用混合宏观 / 微观级反向传播训练深度脉冲神经网络

    提出了一种混合宏 / 微水平反向传播算法（HM2-BP）来训练多层次的尖峰神经网络（SNNs），实现了精确捕捉时间效应，并解决了现有 BP 方法的局限性，在新型 N-MNIST 数据集上取得了 98.88% 的准确率和 99.49% 的准确率 milestone，在 EMNIST 数据集和 TI46 语音语料库上均取得了高识别精度。

    May, 2018

  • 为训练深度神经网络架构实现基于脉冲的反向传播

    通过引入近似导数方法和基于脉冲的反向传播方法，本文提出一种可以直接训练深度脉冲神经网络的方法，实验结果表明，该方法在 MNIST、SVHN 和 CIFAR-10 数据集上取得了比其他基于脉冲的神经网络更好的分类效果。

    Mar, 2019