研究论文提出了一种将深度卷积神经网络(CNNs)转化为深度脉冲神经网络(SNNs)的新方法,并将该方法运用于常见的 CNN 操作(如最大池化、softmax 和批量归一化)的实现上,在实验中,该方法在 MNIST 和 CIFAR10 基准测试中表现出了迄今为止最佳的 SNN 结果。
Dec, 2016
提出了一种有效的方法,将 ResNet 转换为名为 S-ResNet 的脉冲神经元网络,该方法采用转换模型和补偿机制来降低离散化引起的误差,并在 CIFAR-10,CIFAR-100 和 ImageNet 2012 数据集上实现了比现有 SNN 途径更好的性能,这是第一次在大规模数据集上构建超过 40 层深度的 SNN,并获得与 ANNs 相当的性能。
Apr, 2018
提出了一种基于阈值相关批归一化(tdBN)和空间时间反向传播(STBP)的方法,可直接训练深度脉冲神经网络(SNN),并在神经形态硬件上实现其推理,单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率,是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。
Oct, 2020
本论文探讨了脉冲神经网络在语义分割方面的应用,通过替代全连接层和使用替代梯度学习方法,将基本的全卷积网络和 DeepLab 架构重构为 SNN 域的网络。实验表明,相较于 ANN 网络,SNN 网络在这个领域更加稳健和节能。
Oct, 2021
通过引入近似导数方法和基于脉冲的反向传播方法,本文提出一种可以直接训练深度脉冲神经网络的方法,实验结果表明,该方法在 MNIST、SVHN 和 CIFAR-10 数据集上取得了比其他基于脉冲的神经网络更好的分类效果。
Mar, 2019
通过提出神经元规范化技术和直接学习算法,以及缩小速率编码窗口和将漏电整合 - 击发(LIF)模型转换为显式迭代版本的 Pytorch 实现方法,训练了高性能的 CIFAR10 数据集上的深度 SNN,开辟了探究 SNN 潜力的新途径。
Sep, 2018
探讨了 ANN 转换成 SNN 的过程中容易出现的问题,并提出了利用 Lateral Inhibition Pooling 和 Burst spikes 等方法加快推理过程并提高准确性的算法,在 CIFAR 和 ImageNet 数据集上实验取得了很高的效率和精度。
Apr, 2022
通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法,我们提出了一种新的 ANN 转 SNN 框架,可以以极低的时间步和高级稀疏性实现无损 SNN,低延迟,低计算能耗和高测试准确性(例如,ImageNet 数据集上只有 4 个时间步的准确率为 73.30%)。
Dec, 2023
本文介绍了一种将传统人工神经网络转化为脉冲神经网络的新方法,该方法使用门限平衡和软重置机制将权重转移至目标 SNN,以降低转换误差。该方法能够保证几乎不出现精度损失,并且只需要典型 SNN 模拟时间的 1/10,非常适合于对 SNN 极限能量和内存进行支持的嵌入式平台上的实现。
Feb, 2021
通过优化初始膜电位实现高精度 ANN-to-SNN 转换,使得 SNN 在低延迟下达到了与最优性能相当的准确率,并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最新的结果。
Feb, 2022