本文提出了一种针对脉冲神经网络的迭代初始化及重训练方法 (IIR-SNN) 来进行单次推断,在保证精度的情况下将时延降到了极致,实验结果表明,该方法不仅具有可比较的性能,而且比同类算法在能效方面提高了 25-33 倍,相当于标准深度神经网络的性能。
Oct, 2021
提出了一种基于深度 Spiking Neural Networks 的计算高效的训练方法,使用一个经过转换后的 SNN 为基础,使用脉冲反向传播进行深度训练,再逐步执行基于时序的反向传播,实现训练复杂度大幅降低,极大地减少了处理输入所需的时间步骤。
May, 2020
通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法,我们提出了一种新的 ANN 转 SNN 框架,可以以极低的时间步和高级稀疏性实现无损 SNN,低延迟,低计算能耗和高测试准确性(例如,ImageNet 数据集上只有 4 个时间步的准确率为 73.30%)。
Dec, 2023
本文研究了脉冲神经网络的训练方法,将其应用于 CIFAR10 和 ImageNet 数据集中,并采用量化和扰动方式增强其稳健性,最终证明了脉冲神经网络在实际应用中具有高性能和高能效的可行性。
Sep, 2019
通过提出神经元规范化技术和直接学习算法,以及缩小速率编码窗口和将漏电整合 - 击发(LIF)模型转换为显式迭代版本的 Pytorch 实现方法,训练了高性能的 CIFAR10 数据集上的深度 SNN,开辟了探究 SNN 潜力的新途径。
Sep, 2018
提出了一种基于阈值相关批归一化(tdBN)和空间时间反向传播(STBP)的方法,可直接训练深度脉冲神经网络(SNN),并在神经形态硬件上实现其推理,单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率,是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。
Oct, 2020
本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络,将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平,并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级,从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。
Mar, 2021
通过引入生物神经系统启发的突发 - 尖峰机制、基于帕累托前沿驱动算法的再分配爆发 - 射击模式以及基于层特定敏感性自动定位最佳阈值比率的敏感性驱动尖峰压缩技术,在分类和目标检测方面展示出卓越的性能和降低的能量使用,从而推动了基于事件驱动视觉的脉冲神经网络的进展。
Nov, 2023
通过优化初始膜电位实现高精度 ANN-to-SNN 转换,使得 SNN 在低延迟下达到了与最优性能相当的准确率,并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最新的结果。
Feb, 2022
基于动态分配时间步数的训练框架,提出了一种对视觉变换器进行训练的方法,以提高能量效率并在图像识别任务中获得 95.97% 的测试准确率。