基于脉冲编码的快速准确循环神经网络排名编码
本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络,将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平,并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级,从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。
Mar, 2021
提出了基于时间编码的多层脉冲神经网络(SNNs)的新的有监督学习规则,并演示了在多层全连接 SNNs 的 MNIST 数据集上实现了 97.4% 的测试准确性,使用的神经元模型比以前的工作要简单得多,源代码公开。
Oct, 2019
研究了如何通过深度学习将适应性神经元包含在递归脉冲神经元网络(RSNNs)中,从而优化网络结构,实现知识迁移和在少数示例中进行学习、手段是 BPTT 算法。
Mar, 2018
本研究证明了在采用了时间编码方案的前馈脉冲网络中,网络输入 - 输出关系在几乎任何地方都是可微的,并且在变量转换后这种关系是分段线性的。此外,我们展示了通过该方法对项独立 MNIST 任务进行训练的结果,从而证明了训练人工神经网络的方法可以直接应用于训练这种脉冲网络。与基于速率的脉冲网络不同的是,我们所提出的网络的脉冲更为稀疏,且其行为不能直接由传统的人工神经网络来近似。这些结果强调了控制具有复杂时间信息的脉冲模式的脉冲网络行为的新方法。
Jun, 2016
本文从认知神经科学方面入手,分析了 Spiking Neural Networks 这种新型生物神经样本学习 / 数据处理模型在模型、训练算法上面的优点和缺点,其中使用了概率模型和时间反向传播算法解决了部分难点,最后在神经元数据集上进行了对比实验.
Oct, 2020
本文研究了脉冲神经网络的训练方法,将其应用于 CIFAR10 和 ImageNet 数据集中,并采用量化和扰动方式增强其稳健性,最终证明了脉冲神经网络在实际应用中具有高性能和高能效的可行性。
Sep, 2019
该研究论文讨论深度脉冲神经网络的训练方法,比较有监督和无监督学习的准确性、计算成本和硬件友好性,发现深度脉冲神经网络在准确性方面仍落后于人工神经网络,但在许多任务中可以达到相同的准确性并需要更少的计算操作。
Apr, 2018
Spiking Neural Networks (SNNs) achieve performance comparable to Artificial Neural Networks (ANNs) in machine learning tasks, with processing done through spikes in an event-based mechanism that reduces energy consumption. However, training SNNs is challenging due to the non-differentiable spiking mechanism, and alternative learning methods with varying degrees of locality have been proposed. This research explores the training process similarities, the influence of explicit recurrence, and the performance of local learning methods under adversarial attacks.
Feb, 2024
通过结合空间域(SD)和时间相关的时域(TD),并提出了一种适合于梯度下降训练的迭代 LIF 模型,以及脉冲活动的近似导数,本文提出了一种新的时空反向传播(STBP)训练框架,它能够使多层感知器 (MLP) 在静态 MNIST 和动态 N-MNIST 数据集以及自定义对象检测数据集上获得比现有状态 - of-the-art 算法更好的性能。该框架为未来的类脑计算范式探索高性能脉冲神经网络提供了新的视角。
Jun, 2017
该研究基于 “训练和限制” 方法,将基于 Elman RNN 的自然语言处理任务映射到 TrueNorth 芯片上,并通过脉冲神经元的模拟使用少量的 CPU 核心,实现了低功耗的 74% 准确度。
Jan, 2016