TCL:一种可训练剪切层的 ANN-to-SNN 转换方法
本论文提出一种双相转换算法,通过减少量化误差、裁剪误差和残余膜电势表示误差来提高深度脉冲神经网络(SNN)的准确性,并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上表现出与人工神经网络(ANNs)相当的准确性和更低的能源消耗。
May, 2022
SpikeZIP-TF 是一种新的 ANN-to-SNN 转换方法,其 ANN 和 SNN 之间的等效性不会导致准确率降低,在 CV 和 NLP 任务上分别获得了 83.82% 和 93.79% 的准确率,优于目前最先进的基于 Transformer 的 SNNs。
Jun, 2024
通过引入 attention 机制和采用分层知识蒸馏的方法,提出了新的 SNN 训练框架 LaSNN,实现了与 ANN 比较的竞争性准确率和比转换的 SNN 快 20 倍的推理速度,并且具有灵活性和可扩展性。
Apr, 2023
本研究提出量化裁剪 - 移位激活函数以更好地逼近 Spiking Neural Networks 的激活函数,能在超低延迟 (4 time-steps) 的情况下实现高精度和超低延迟的 SNNs,并在 CIFAR-10/100 和 ImageNet 数据集上提高了性能。
Mar, 2023
通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法,我们提出了一种新的 ANN 转 SNN 框架,可以以极低的时间步和高级稀疏性实现无损 SNN,低延迟,低计算能耗和高测试准确性(例如,ImageNet 数据集上只有 4 个时间步的准确率为 73.30%)。
Dec, 2023
本文提出了一种称为 SNN Calibration 的校准算法,通过对神经网络参数的校准,能够显著提高将 ANN 转换为 SNN 的结果,本算法引入了一个便宜而有效的方法,通过在少量训练数据上进行训练,并在几分钟内完成校准。详细实验结果表明,该算法在大规模的 ImageNet 数据集上能够产生先进的 SNN 体系结构,并且与基准相比,在 MobileNet 转换中能够提高达 69%的 top-1 准确性。
Jun, 2021
通过优化初始膜电位实现高精度 ANN-to-SNN 转换,使得 SNN 在低延迟下达到了与最优性能相当的准确率,并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最新的结果。
Feb, 2022
本论文探讨了脉冲神经网络在语义分割方面的应用,通过替代全连接层和使用替代梯度学习方法,将基本的全卷积网络和 DeepLab 架构重构为 SNN 域的网络。实验表明,相较于 ANN 网络,SNN 网络在这个领域更加稳健和节能。
Oct, 2021
本文介绍了一种将传统人工神经网络转化为脉冲神经网络的新方法,该方法使用门限平衡和软重置机制将权重转移至目标 SNN,以降低转换误差。该方法能够保证几乎不出现精度损失,并且只需要典型 SNN 模拟时间的 1/10,非常适合于对 SNN 极限能量和内存进行支持的嵌入式平台上的实现。
Feb, 2021
提出了一种基于阈值相关批归一化(tdBN)和空间时间反向传播(STBP)的方法,可直接训练深度脉冲神经网络(SNN),并在神经形态硬件上实现其推理,单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率,是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。
Oct, 2020