Feb, 2019

ReStoCNet: 残差随机二值化脉冲神经网络，用于记忆高效的神经形态计算

PDF
TL;DR本研究提出了 ReStoCNet，一种由二进制卷积核组成的残差随机多层卷积 SNN，以减少 SNN 的突触内存占用并提高其在复杂模式识别任务中的计算效率，同时引入残差连接来提高深度 SNN 的层次特征学习能力。
restocnetspiking neural networkresidual connectionsstdppattern recognition
发现论文，激发创造
  • 具备反向残差连接、随机 Softmax 和混合化的可扩展、高效和准确的深度脉冲神经网络

    本研究提出了使用逆向残差连接、随机 softmax 和混合人工和尖峰神经元激活的算法技术，以提高学习能力，并取得与传统深度学习 / 人工神经网络相媲美的准确性，同时在诸如 CIFAR10、Imagenet 等复杂视觉识别任务上实现了大幅度的能源效率和减少参数开销。

    Oct, 2019

  • 基于脉冲卷积神经网络中的尖峰时间位移误差反向传播

    本文在先前提出的 STiDi-BP 算法基础上，使用线性逼近计算膜电位对尖峰潜伏期的导数，采用分段线性的 postsynaptic potential 的尖峰神经元来减少计算成本和神经处理的复杂度，并将其扩展到更深的 SNN 与卷积架构中，同时考虑到降低存储量和计算成本，使用二进制权重的卷积 SNN 在 MNIST 和 Fashion-MNIST 数据集上具有近似真实值权重的性能。

    Aug, 2021

  • 使用逐层稀疏编码和 STDP 学习的生物启发型脉冲卷积神经网络

    本文探讨了一种新颖的生物启发式脉冲卷积神经网络，该网络以贪心的分层方式进行训练，将由脉冲卷积 - 池化层和提取独立视觉特征的特征发现层组成，使用局部学习训练卷积层内的卷积核并利用概率性、泄漏整流集成火 (LIF) 神经元从输入刺激中提取独立特征。实验结果表明，该模型能够轻松进行多层次学习，并且具有噪声鲁棒性。

    Nov, 2016

  • 具有无监督学习的全脉冲记忆电阻网络

    本研究基于 memristive neuron 和 memristive synapse 提出了一个完全基于 memristor 的脉冲神经网络 (MSNN)，并采用无监督的 Spiking Time Dependent Plasticity (STDP) 学习规则。我们通过电路模拟验证了 MSNN 的学习效果，并实现了两种类型的 MSNN 结构：一种是生物学合理的记忆检索系统，另一种是用于多类别分类。

    Mar, 2022

  • 脉冲深度残差网络

    提出了一种有效的方法，将 ResNet 转换为名为 S-ResNet 的脉冲神经元网络，该方法采用转换模型和补偿机制来降低离散化引起的误差，并在 CIFAR-10，CIFAR-100 和 ImageNet 2012 数据集上实现了比现有 SNN 途径更好的性能，这是第一次在大规模数据集上构建超过 40 层深度的 SNN，并获得与 ANNs 相当的性能。

    Apr, 2018

  • 高效内存可逆脉冲神经网络

    我们提出可逆脉冲神经网络以降低训练过程中中间激活和膜电位的内存成本，通过实验证明我们的可逆 SNN 网络在网络深度上不增加每张图片的内存成本，并比现有模型在准确性和消耗的 GPU 内存方面表现更好。

    Dec, 2023

  • 利用混合转换和时序相关反向传播使深度脉冲神经网络可行

    提出了一种基于深度 Spiking Neural Networks 的计算高效的训练方法，使用一个经过转换后的 SNN 为基础，使用脉冲反向传播进行深度训练，再逐步执行基于时序的反向传播，实现训练复杂度大幅降低，极大地减少了处理输入所需的时间步骤。

    May, 2020

  • 基于 STDP 的突触可塑性神经网络有监督学习算法

    本文提出了一种基于 Spike-Timing Dependent Plasticity (STDP) 的监督学习算法，用于基于 Leaky Integrate-and-fire (LIF) 神经元的分层 Spiking Neural Networks。该算法经 MNIST 数据集训练后，分类精度接近于使用标准反向传播算法训练的类似结构的多层感知器模型。

    Mar, 2022

  • 通过解决脉冲神经网络退化的关键问题推进深度残差学习

    通过提出一种新的残差块并将其应用于神经形态计算的 SNN，本文成功扩展了 SNN 的深度，获得了较高的准确率和极低的能量消耗。

    Dec, 2021

  • BP-STDP: 使用时序相关可塑性近似反向传播

    本文提出一种基于事件驱动的脉冲时序依赖可塑性 (Spike-Timing-Dependent Plasticity, STDP) 规则的监督学习方法，可以在保持计算精度的同时提高计算效率，特别适用于脉冲神经网络 (Spiking Neural Networks, SNNs)。实验结果表明，该方法可以较好地处理 XOR 问题、鸢尾花数据以及 MNIST 数据集，表现与传统神经网络相当，甚至比目前最先进的多层 SNNs 效果更好。

    Nov, 2017