具有突发电位的脉冲神经网络的高效准确转换
本文分析了 ANN-SNN 转换的理论,并提出了使用速率规范层替换源 ANN 训练中的 ReLU 激活函数以实现直接转换的方法。我们还提出了一种最优拟合曲线来量化源 ANN 的激活值与目标 SNN 实际发射率之间的匹配度,并通过优化上述拟合曲线的上界来减少推断时间以实现快速推断。实验结果表明,该方法在 VGG-16、PreActResNet-18 和更深的结构上实现了接近于无损转换,并且在 0.265 倍的能量消耗下实现了 8.6 倍的更快推断性能。
May, 2021
通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法,我们提出了一种新的 ANN 转 SNN 框架,可以以极低的时间步和高级稀疏性实现无损 SNN,低延迟,低计算能耗和高测试准确性(例如,ImageNet 数据集上只有 4 个时间步的准确率为 73.30%)。
Dec, 2023
通过引入生物神经系统启发的突发 - 尖峰机制、基于帕累托前沿驱动算法的再分配爆发 - 射击模式以及基于层特定敏感性自动定位最佳阈值比率的敏感性驱动尖峰压缩技术,在分类和目标检测方面展示出卓越的性能和降低的能量使用,从而推动了基于事件驱动视觉的脉冲神经网络的进展。
Nov, 2023
通过优化初始膜电位实现高精度 ANN-to-SNN 转换,使得 SNN 在低延迟下达到了与最优性能相当的准确率,并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最新的结果。
Feb, 2022
本论文提出一种双相转换算法,通过减少量化误差、裁剪误差和残余膜电势表示误差来提高深度脉冲神经网络(SNN)的准确性,并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上表现出与人工神经网络(ANNs)相当的准确性和更低的能源消耗。
May, 2022
本文介绍了一种将传统人工神经网络转化为脉冲神经网络的新方法,该方法使用门限平衡和软重置机制将权重转移至目标 SNN,以降低转换误差。该方法能够保证几乎不出现精度损失,并且只需要典型 SNN 模拟时间的 1/10,非常适合于对 SNN 极限能量和内存进行支持的嵌入式平台上的实现。
Feb, 2021
本研究提出量化裁剪 - 移位激活函数以更好地逼近 Spiking Neural Networks 的激活函数,能在超低延迟 (4 time-steps) 的情况下实现高精度和超低延迟的 SNNs,并在 CIFAR-10/100 和 ImageNet 数据集上提高了性能。
Mar, 2023
在所述文献中,我们提出了一种基于偏移尖峰的 ANN-SNN 转换优化策略,该策略使用初始膜电位的移动来计算尖峰偏移,并可以进一步减少转换误差。实验结果表明,该方法在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最先进的性能。
Feb, 2023
本文提出了一种基于剩余膜电位的优化策略,旨在降低脉冲到达时间序列下 SNNs 中不平衡误差,从而达到与 ANNs 等效水平的性能,实验结果表明该策略在复杂数据集 ImageNet 上取得了最先进的性能,例如在 10 步之内达到了 64.32% 的准确率。
Feb, 2023
本文提出了一种基于 SPI 神经元校准和 LIPooling 的深度脉冲神经网络转换方法,使用贝叶斯优化减少了对经验设置的依赖,并在分类、目标检测和分割任务上获得了先进的性能,实现了比先前工作更快的检测任务推理时间,并在能源消耗上实现了与 ANN 相同的分割任务的性能。
Jul, 2022