Feb, 2016

深度脉冲神经网络

PDF
TL;DR通过介绍一种能够在脉冲网络上进行反向传播的算法，我们表明，在脉冲多层感知机（MLP）长时间运行的极限情况下，该网络在预测和训练期间的行为与带有修正线性单元的传统深度网络行为完全相同。我们将此架构应用于传统分类问题（MNIST），并实现了与具有相同架构的传统 MLP 非常接近的性能。此网络对于基于流事件数据的学习具有自然架构，是使用脉冲神经网络高效学习流式数据的基石。
backpropagationspiking networkneuronsmulti-layer perceptronstreaming data
发现论文，激发创造
  • 为训练深度神经网络架构实现基于脉冲的反向传播

    通过引入近似导数方法和基于脉冲的反向传播方法，本文提出一种可以直接训练深度脉冲神经网络的方法，实验结果表明，该方法在 MNIST、SVHN 和 CIFAR-10 数据集上取得了比其他基于脉冲的神经网络更好的分类效果。

    Mar, 2019

  • 使用反向传播训练深度脉冲神经网络

    该论文介绍了一种新技术，将尖峰神经元的电位视为可微信号，从而在较少的精度损失的情况下通过误差反向传播机制直接对尖峰信号和电位进行训练，这使得深度尖峰神经网络比以往的间接训练方法表现更好，能够更精确地捕获尖峰的静态特征。测试结果表明，该算法在 MNIST 和 N-MNIST 数据集上比以往的 SNNs 方法表现更好。

    Aug, 2016

  • 利用传统循环神经网络进行基于脉冲的计算

    本文中，我们尝试一种对称方法：我们通过修改一种易于训练的循环神经网络的动力学来使其基于事件。这种新型 RNN 单元，称为 Spiking Recurrent Cell，因此使用事件即 spike 进行通信，同时可完全区分化。因此，可以使用基本反向传播来训练任何由该 RNN 单元组成的网络。我们展示了这种新的网络在 MNIST 基准测试及其变体 Fashion-MNIST 和 Neuromorphic-MNIST 中可以达到与其他类型的脉冲网络可比较的性能，并且这个新单元使得深度脉冲网络的训练成为可能。

    Jun, 2023

  • 提高深度脉冲神经网络训练性能的有效方法

    本文介绍了一种新型的深度脉冲神经网络（DSN），它可以直接进行参数训练，不需要先用传统深度神经网络的训练结果来初始化；研究表明，在 DSN 中控制反向路径的膜电位初始值是非常重要的，同时本文提出了一种简单而有效的方法可以加快 DSN 的收敛时间并提高准确性。

    Nov, 2016

  • 脉冲神经网络深度学习

    该研究论文讨论深度脉冲神经网络的训练方法，比较有监督和无监督学习的准确性、计算成本和硬件友好性，发现深度脉冲神经网络在准确性方面仍落后于人工神经网络，但在许多任务中可以达到相同的准确性并需要更少的计算操作。

    Apr, 2018

  • SpikeGrad：一种用于使用脉冲实现反向传播的等效 ANN 计算模型

    研究了如何通过事件驱动的神经形态系统中的脉冲事件来离散化梯度，在 MNIST 和 CIFAR10 数据集上取得了与全精度梯度相媲美或更好的精度。该算法称为 SpikeGrad。

    Jun, 2019

  • 深度脉冲神经网络反向传播的修正线性突触后电位函数

    本文介绍了一个针对 DeepSNNs 设计的 Spike-Timing-Dependent Back-Propagation 学习算法，并提供了一种新的思路，探讨了时序动态、突触可塑性和决策等方面对信息编码的贡献，为未来 DeepSNNs 和神经形态硬件系统的设计提供了新的视角和方法。

    Mar, 2020

  • 为神经形态硬件训练脉冲深度网络

    本文介绍了一种方法，该方法可以训练使用 Leaky Integrate-and-Fire（LIF）神经元的脉冲深度网络，并在包括大型 ImageNet ILSVRC-2012 基准测试在内的五个数据集上取得了最先进的结果。该方法可扩展，并适用于各种神经非线性。通过软化神经响应函数以使其导数保持有界，并通过噪声训练网络，我们实现了这些结果，以提高其承受由脉冲引入的变异性的鲁棒性。我们的分析表明，在神经形态硬件上实现这些网络将比传统硬件上等效的非脉冲网络更加节能。

    Nov, 2016

  • SuperSpike: 多层脉冲神经网络中的监督学习

    本研究基于神经脉冲网络中的超级脉冲非线性电压三因素学习规则，探究了不同信用分配策略对多层神经网络的表现，可促进神经脉冲网络的学习和计算方式的理解。

    May, 2017

  • 脉冲神经网络的梯度下降

    本研究提出了一种利用可微分脉冲神经网络模型的梯度下降方法，解决以往基于静态神经元的网络模型无法处理脉冲信号信息处理的问题。实验结果表明该方法可以优化脉冲神经网络的动态行为与行为时间的关系，并为基于脉冲信号的神经计算提供了通用的监督学习算法。

    Jun, 2017