Jun, 2023

利用传统循环神经网络进行基于脉冲的计算

PDF
TL;DR本文中，我们尝试一种对称方法：我们通过修改一种易于训练的循环神经网络的动力学来使其基于事件。这种新型 RNN 单元，称为 Spiking Recurrent Cell，因此使用事件即 spike 进行通信，同时可完全区分化。因此，可以使用基本反向传播来训练任何由该 RNN 单元组成的网络。我们展示了这种新的网络在 MNIST 基准测试及其变体 Fashion-MNIST 和 Neuromorphic-MNIST 中可以达到与其他类型的脉冲网络可比较的性能，并且这个新单元使得深度脉冲网络的训练成为可能。
spiking neural networksasynchronous computationstraining algorithmsspiking recurrent celldeep spiking networks
发现论文，激发创造
  • 使用反向传播训练深度脉冲神经网络

    该论文介绍了一种新技术，将尖峰神经元的电位视为可微信号，从而在较少的精度损失的情况下通过误差反向传播机制直接对尖峰信号和电位进行训练，这使得深度尖峰神经网络比以往的间接训练方法表现更好，能够更精确地捕获尖峰的静态特征。测试结果表明，该算法在 MNIST 和 N-MNIST 数据集上比以往的 SNNs 方法表现更好。

    Aug, 2016

  • 为训练深度神经网络架构实现基于脉冲的反向传播

    通过引入近似导数方法和基于脉冲的反向传播方法，本文提出一种可以直接训练深度脉冲神经网络的方法，实验结果表明，该方法在 MNIST、SVHN 和 CIFAR-10 数据集上取得了比其他基于脉冲的神经网络更好的分类效果。

    Mar, 2019

  • 自适应脉冲循环神经网络精确高效的时间域分类

    本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络，将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平，并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级，从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。

    Mar, 2021

  • 多时间尺度脉冲循环神经网络的高效计算

    该研究介绍了一种新型自适应尖峰循环神经网络，能够在边缘人工智能硬件上实现比其他尖峰神经网络更高的性能，几乎达到或超过经典递归神经网络的性能，并展示了在更难的任务上超过经典递归神经网络的 $>$100 倍能量改进。

    May, 2020

  • 脉冲神经网络深度学习

    该研究论文讨论深度脉冲神经网络的训练方法，比较有监督和无监督学习的准确性、计算成本和硬件友好性，发现深度脉冲神经网络在准确性方面仍落后于人工神经网络，但在许多任务中可以达到相同的准确性并需要更少的计算操作。

    Apr, 2018

  • SpikeGrad：一种用于使用脉冲实现反向传播的等效 ANN 计算模型

    研究了如何通过事件驱动的神经形态系统中的脉冲事件来离散化梯度，在 MNIST 和 CIFAR10 数据集上取得了与全精度梯度相媲美或更好的精度。该算法称为 SpikeGrad。

    Jun, 2019

  • 脉冲神经膜系统学习模型和脉冲神经网络的调查

    脉冲神经网络（SNN）是一种受生物启发的神经网络模型，通过脉冲和脉冲列进行神经元之间的通信，与标准人工神经网络（ANN）不同。本文首先对比了 SNN 和脉冲神经 P 系统（SNPS）的结构、功能、优点和缺点，然后综述了 SNN 和 SNPS 形式化方法在机器学习和深度学习模型中的最新研究成果和应用。

    Mar, 2024

  • 深度脉冲神经网络

    通过介绍一种能够在脉冲网络上进行反向传播的算法，我们表明，在脉冲多层感知机（MLP）长时间运行的极限情况下，该网络在预测和训练期间的行为与带有修正线性单元的传统深度网络行为完全相同。我们将此架构应用于传统分类问题（MNIST），并实现了与具有相同架构的传统 MLP 非常接近的性能。此网络对于基于流事件数据的学习具有自然架构，是使用脉冲神经网络高效学习流式数据的基石。

    Feb, 2016

  • 脉冲神经网络 -- 第二部分：检测时空模式

    本文从认知神经科学方面入手，分析了 Spiking Neural Networks 这种新型生物神经样本学习 / 数据处理模型在模型、训练算法上面的优点和缺点，其中使用了概率模型和时间反向传播算法解决了部分难点，最后在神经元数据集上进行了对比实验.

    Oct, 2020

  • 人工循环神经网络向脉冲神经网络的转换，以适配低功率神经形态硬件

    该研究基于 “训练和限制” 方法，将基于 Elman RNN 的自然语言处理任务映射到 TrueNorth 芯片上，并通过脉冲神经元的模拟使用少量的 CPU 核心，实现了低功耗的 74% 准确度。

    Jan, 2016