融合基于激活和时间的尖峰神经网络学习规则
本研究证明了在采用了时间编码方案的前馈脉冲网络中,网络输入 - 输出关系在几乎任何地方都是可微的,并且在变量转换后这种关系是分段线性的。此外,我们展示了通过该方法对项独立 MNIST 任务进行训练的结果,从而证明了训练人工神经网络的方法可以直接应用于训练这种脉冲网络。与基于速率的脉冲网络不同的是,我们所提出的网络的脉冲更为稀疏,且其行为不能直接由传统的人工神经网络来近似。这些结果强调了控制具有复杂时间信息的脉冲模式的脉冲网络行为的新方法。
Jun, 2016
本研究基于神经脉冲网络中的超级脉冲非线性电压三因素学习规则,探究了不同信用分配策略对多层神经网络的表现,可促进神经脉冲网络的学习和计算方式的理解。
May, 2017
本研究提出了一种利用可微分脉冲神经网络模型的梯度下降方法,解决以往基于静态神经元的网络模型无法处理脉冲信号信息处理的问题。实验结果表明该方法可以优化脉冲神经网络的动态行为与行为时间的关系,并为基于脉冲信号的神经计算提供了通用的监督学习算法。
Jun, 2017
本文综述了基于直接学习的深度脉冲神经网络研究,重点讨论了提高准确性、提高效率和利用时间动态的方法,并进一步分类和总结。同时,展望了未来研究中可能面临的挑战和趋势。
May, 2023
通过结合空间域(SD)和时间相关的时域(TD),并提出了一种适合于梯度下降训练的迭代 LIF 模型,以及脉冲活动的近似导数,本文提出了一种新的时空反向传播(STBP)训练框架,它能够使多层感知器 (MLP) 在静态 MNIST 和动态 N-MNIST 数据集以及自定义对象检测数据集上获得比现有状态 - of-the-art 算法更好的性能。该框架为未来的类脑计算范式探索高性能脉冲神经网络提供了新的视角。
Jun, 2017
Spiking Neural Networks (SNNs) achieve performance comparable to Artificial Neural Networks (ANNs) in machine learning tasks, with processing done through spikes in an event-based mechanism that reduces energy consumption. However, training SNNs is challenging due to the non-differentiable spiking mechanism, and alternative learning methods with varying degrees of locality have been proposed. This research explores the training process similarities, the influence of explicit recurrence, and the performance of local learning methods under adversarial attacks.
Feb, 2024
本文提出一种基于事件驱动的脉冲时序依赖可塑性 (Spike-Timing-Dependent Plasticity, STDP) 规则的监督学习方法,可以在保持计算精度的同时提高计算效率,特别适用于脉冲神经网络 (Spiking Neural Networks, SNNs)。实验结果表明,该方法可以较好地处理 XOR 问题、鸢尾花数据以及 MNIST 数据集,表现与传统神经网络相当,甚至比目前最先进的多层 SNNs 效果更好。
Nov, 2017
本文介绍了一种时间效率训练(TET)方法,以解决直接使用代理梯度进行训练的脉冲神经网络(SNNs)普遍存在的推广性差的问题,并且证明了该方法在各种数据集上超过了其他方法,尤其在 DVS-CIFAR10 上达到了 83% 的准确率,优于现有技术。
Feb, 2022
本文提出了一种基于 Spike-Timing Dependent Plasticity (STDP) 的监督学习算法,用于基于 Leaky Integrate-and-fire (LIF) 神经元的分层 Spiking Neural Networks。该算法经 MNIST 数据集训练后,分类精度接近于使用标准反向传播算法训练的类似结构的多层感知器模型。
Mar, 2022
本文提出了一种称为 OTTT 的 SNN 在线训练方法,通过跟踪神经前体活动和利用瞬时损失和梯度来实现向前的时间学习,并理论分析证明了 OTTT 的梯度能够在前馈和递归条件下提供与基于脉冲表示的梯度相似的下降方向,同时避免了 BPTT 对 GPU 训练的巨大内存成本。
Oct, 2022