朝零内存占用的脉冲神经网络训练
我们提出可逆脉冲神经网络以降低训练过程中中间激活和膜电位的内存成本,通过实验证明我们的可逆 SNN 网络在网络深度上不增加每张图片的内存成本,并比现有模型在准确性和消耗的 GPU 内存方面表现更好。
Dec, 2023
该论文介绍了一种新技术,将尖峰神经元的电位视为可微信号,从而在较少的精度损失的情况下通过误差反向传播机制直接对尖峰信号和电位进行训练,这使得深度尖峰神经网络比以往的间接训练方法表现更好,能够更精确地捕获尖峰的静态特征。测试结果表明,该算法在 MNIST 和 N-MNIST 数据集上比以往的 SNNs 方法表现更好。
Aug, 2016
通过引入近似导数方法和基于脉冲的反向传播方法,本文提出一种可以直接训练深度脉冲神经网络的方法,实验结果表明,该方法在 MNIST、SVHN 和 CIFAR-10 数据集上取得了比其他基于脉冲的神经网络更好的分类效果。
Mar, 2019
通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法,我们提出了一种新的 ANN 转 SNN 框架,可以以极低的时间步和高级稀疏性实现无损 SNN,低延迟,低计算能耗和高测试准确性(例如,ImageNet 数据集上只有 4 个时间步的准确率为 73.30%)。
Dec, 2023
提出了一种基于深度 Spiking Neural Networks 的计算高效的训练方法,使用一个经过转换后的 SNN 为基础,使用脉冲反向传播进行深度训练,再逐步执行基于时序的反向传播,实现训练复杂度大幅降低,极大地减少了处理输入所需的时间步骤。
May, 2020
本文介绍了一种新型的深度脉冲神经网络(DSN),它可以直接进行参数训练,不需要先用传统深度神经网络的训练结果来初始化;研究表明,在 DSN 中控制反向路径的膜电位初始值是非常重要的,同时本文提出了一种简单而有效的方法可以加快 DSN 的收敛时间并提高准确性。
Nov, 2016
Spiking Neural Networks (SNNs) achieve performance comparable to Artificial Neural Networks (ANNs) in machine learning tasks, with processing done through spikes in an event-based mechanism that reduces energy consumption. However, training SNNs is challenging due to the non-differentiable spiking mechanism, and alternative learning methods with varying degrees of locality have been proposed. This research explores the training process similarities, the influence of explicit recurrence, and the performance of local learning methods under adversarial attacks.
Feb, 2024
通过引入生物神经系统启发的突发 - 尖峰机制、基于帕累托前沿驱动算法的再分配爆发 - 射击模式以及基于层特定敏感性自动定位最佳阈值比率的敏感性驱动尖峰压缩技术,在分类和目标检测方面展示出卓越的性能和降低的能量使用,从而推动了基于事件驱动视觉的脉冲神经网络的进展。
Nov, 2023
提出了一种基于阈值相关批归一化(tdBN)和空间时间反向传播(STBP)的方法,可直接训练深度脉冲神经网络(SNN),并在神经形态硬件上实现其推理,单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率,是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。
Oct, 2020