基于脉冲卷积神经网络中的尖峰时间位移误差反向传播

Aug, 2021

基于脉冲卷积神经网络中的尖峰时间位移误差反向传播

Spike time displacement based error backpropagation in convolutional spiking neural networks

Maryam Mirsadeghi, Majid Shalchian, Saeed Reza Kheradpisheh, Timothée Masquelier

TL;DR本文在先前提出的 STiDi-BP 算法基础上，使用线性逼近计算膜电位对尖峰潜伏期的导数，采用分段线性的 postsynaptic potential 的尖峰神经元来减少计算成本和神经处理的复杂度，并将其扩展到更深的 SNN 与卷积架构中，同时考虑到降低存储量和计算成本，使用二进制权重的卷积 SNN 在 MNIST 和 Fashion-MNIST 数据集上具有近似真实值权重的性能。

Abstract

We recently proposed the stidi-bp algorithm, which avoids backward recursive gradient computation, for training multi-layer spiking neural networks (SNNs) with single-spike-based →

stidi-bp algorithm spiking neural networks temporal coding convolutional snns binary weights

发现论文，激发创造

BP-STDP: 使用时序相关可塑性近似反向传播

本文提出一种基于事件驱动的脉冲时序依赖可塑性 (Spike-Timing-Dependent Plasticity, STDP) 规则的监督学习方法，可以在保持计算精度的同时提高计算效率，特别适用于脉冲神经网络 (Spiking Neural Networks, SNNs)。实验结果表明，该方法可以较好地处理 XOR 问题、鸢尾花数据以及 MNIST 数据集，表现与传统神经网络相当，甚至比目前最先进的多层 SNNs 效果更好。

Nov, 2017

Desire Backpropagation: 基于时序相关塑性的多层脉冲神经网络的轻量级训练算法

该论文介绍了一种名为 desire backpropagation 的方法，它利用 STDP 的权重更新，实现了全局误差最小化和分类准确率的提高；同时，该方法具有 STDP 的神经动力学和计算效率，是一种基于脉冲的监督学习规则。作者使用 desire backpropagation 对 MNIST 和 Fashion-MNIST 图像进行了分类，实验效果良好。

Nov, 2022

深度脉冲神经网络反向传播的修正线性突触后电位函数

本文介绍了一个针对 DeepSNNs 设计的 Spike-Timing-Dependent Back-Propagation 学习算法，并提供了一种新的思路，探讨了时序动态、突触可塑性和决策等方面对信息编码的贡献，为未来 DeepSNNs 和神经形态硬件系统的设计提供了新的视角和方法。

Mar, 2020

用于高性能脉冲神经网络训练的时空反向传播

通过结合空间域（SD）和时间相关的时域（TD），并提出了一种适合于梯度下降训练的迭代 LIF 模型，以及脉冲活动的近似导数，本文提出了一种新的时空反向传播（STBP）训练框架，它能够使多层感知器 (MLP) 在静态 MNIST 和动态 N-MNIST 数据集以及自定义对象检测数据集上获得比现有状态 - of-the-art 算法更好的性能。该框架为未来的类脑计算范式探索高性能脉冲神经网络提供了新的视角。

Jun, 2017

利用混合转换和时序相关反向传播使深度脉冲神经网络可行

提出了一种基于深度 Spiking Neural Networks 的计算高效的训练方法，使用一个经过转换后的 SNN 为基础，使用脉冲反向传播进行深度训练，再逐步执行基于时序的反向传播，实现训练复杂度大幅降低，极大地减少了处理输入所需的时间步骤。

May, 2020

通过反向传播实现深度脉冲神经网络的时间尖峰序列学习

本文提出一种 TSSL-BP 方法来训练深度的尖峰神经网络，并通过考虑突触前神经元的发放时间和处理每个神经元状态的内部演化来捕获神经元间和神经元内的依赖关系，从而提高了时间学习精度。该方法有效地在几个步骤内训练深度 SNNs，提高了诸如 CIFAR10 的各种图像分类数据集的准确性。

Feb, 2020

使用反向传播训练深度脉冲神经网络

该论文介绍了一种新技术，将尖峰神经元的电位视为可微信号，从而在较少的精度损失的情况下通过误差反向传播机制直接对尖峰信号和电位进行训练，这使得深度尖峰神经网络比以往的间接训练方法表现更好，能够更精确地捕获尖峰的静态特征。测试结果表明，该算法在 MNIST 和 N-MNIST 数据集上比以往的 SNNs 方法表现更好。

Aug, 2016

时域中的 Spike 层误差重新分配

这篇文献提出了一种新的反向传播机制来学习突触权重和轴突延迟，解决了突触激活函数不可微分的问题，从而有助于低功耗的事件驱动计算，该方法在训练全连接和卷积神经网络方面表现出色，优于现有的 SNN 和标准 ANN 到 SNN 转换技术，取得了 MNIST，NMNIST，DVS Gesture 和 TIDIGITS 数据集上 SNN 的最新性能.

Sep, 2018

为训练深度神经网络架构实现基于脉冲的反向传播

通过引入近似导数方法和基于脉冲的反向传播方法，本文提出一种可以直接训练深度脉冲神经网络的方法，实验结果表明，该方法在 MNIST、SVHN 和 CIFAR-10 数据集上取得了比其他基于脉冲的神经网络更好的分类效果。

Mar, 2019

深入研究直接训练更大尺寸的脉冲神经网络

提出了一种基于阈值相关批归一化（tdBN）和空间时间反向传播（STBP）的方法，可直接训练深度脉冲神经网络（SNN），并在神经形态硬件上实现其推理，单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率，是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。

Oct, 2020