LaSNN: 深度脉冲神经网络中的有效高效培训之层级 ANN 到 SNN 蒸馏

Apr, 2023

LaSNN: 深度脉冲神经网络中的有效高效培训之层级 ANN 到 SNN 蒸馏

LaSNN: Layer-wise ANN-to-SNN Distillation for Effective and Efficient Training in Deep Spiking Neural Networks

Di Hong, Jiangrong Shen, Yu Qi, Yueming Wang

TL;DR通过引入 attention 机制和采用分层知识蒸馏的方法，提出了新的 SNN 训练框架 LaSNN，实现了与 ANN 比较的竞争性准确率和比转换的 SNN 快 20 倍的推理速度，并且具有灵活性和可扩展性。

Abstract

spiking neural networks (SNNs) are biologically realistic and practically promising in low-power computation because of their event-driven mechanism. Usually, the training of SNNs suffers accuracy loss on various tasks, yielding an inferior performance compared with ANNs. A conversion

spiking neural networks ann knowledge distillation energy efficiency inference latency

发现论文，激发创造

生物启发计算与深度学习的相遇：从人工神经网络到低延迟、准确、高能效的脉冲神经网络

通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法，我们提出了一种新的 ANN 转 SNN 框架，可以以极低的时间步和高级稀疏性实现无损 SNN，低延迟，低计算能耗和高测试准确性（例如，ImageNet 数据集上只有 4 个时间步的准确率为 73.30%）。

Dec, 2023

通过知识蒸馏从人工神经网络构建深度脉冲神经网络

本文提出了一种新的方法，利用知识蒸馏构建深度 SNN 模型，通过利用 ANN 作为教师模型和 SNN 作为学生模型进行联合训练算法，可以更加有效地构建深层脉冲神经网络结构，并且在与不可微分波形的通信时，仍然能够避免从零开始训练 SNN，并且具有良好的噪声免疫能力。

Apr, 2023

Joint A-SNN: 通过自蒸馏和权重分解联合训练人工神经网络和脉冲神经网络

本文提出了一种人工神经网络和脉冲神经网络之间联合训练的框架，其中人工神经网络可以引导脉冲神经网络的优化。我们通过多个网络分支将人工神经网络中的知识提炼到脉冲神经网络中，并限制了两者的参数，分享部分参数和学习不同的独立权重。在多项广泛的网络结构实验中，我们的方法始终表现出色，超越了许多其他最先进的训练方法。例如，在 CIFAR100 分类任务中，我们的方法训练的脉冲 ResNet-18 模型只需要 4 个时间步，就可以达到 77.39％的 top-1 准确率。

May, 2023

将传统人工神经网络转化为脉冲神经网络的最优方案

本文介绍了一种将传统人工神经网络转化为脉冲神经网络的新方法，该方法使用门限平衡和软重置机制将权重转移至目标 SNN，以降低转换误差。该方法能够保证几乎不出现精度损失，并且只需要典型 SNN 模拟时间的 1/10，非常适合于对 SNN 极限能量和内存进行支持的嵌入式平台上的实现。

Feb, 2021

深度脉冲神经网络模式识别的渐进串联学习

本文提出了一种称为渐进串联深度 SNN 的 ANN 到 SNN 的转换和分层学习框架，该框架利用脉冲计数以逼近模拟神经元的激活值，以及一种适应性训练调度器细化网络权重，其在大规模物体识别、图像重建和语音分离任务中能够展示出出色的分类和回归能力，同时需要的推理时间和突触操作比其他最先进的 SNN 实现少了至少一个数量级，因此它为功率有限的移动和嵌入式设备提供了无数机会。

Jul, 2020

脉冲神经网络的直接训练：更快，更大，更好

通过提出神经元规范化技术和直接学习算法，以及缩小速率编码窗口和将漏电整合 - 击发（LIF）模型转换为显式迭代版本的 Pytorch 实现方法，训练了高性能的 CIFAR10 数据集上的深度 SNN，开辟了探究 SNN 潜力的新途径。

Sep, 2018

通过转化实现对抗性鲁棒性的尖峰神经网络

我们提出了一种通过 ANN-to-SNN 转换算法实现对深度 SNN 的鲁棒性训练的方法，该方法在后转换的鲁棒微调阶段，通过对 SNN 的层内发射阈值和突触连接权重进行敌对优化，以保持从预训练 ANN 传递的鲁棒性增益，实现了扩展性的鲁棒 SNN 训练方法。在考虑 SNN 的脉冲操作动力学的多个自适应敌对设置的实验评估中，我们的方法展示了一种具有低延迟的可扩展高鲁棒性深度 SNN 的最新解决方案。

Nov, 2023

低延迟脉冲神经网络的优化电位初始化

通过优化初始膜电位实现高精度 ANN-to-SNN 转换，使得 SNN 在低延迟下达到了与最优性能相当的准确率，并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最新的结果。

Feb, 2022

脉冲神经网络深度学习

该研究论文讨论深度脉冲神经网络的训练方法，比较有监督和无监督学习的准确性、计算成本和硬件友好性，发现深度脉冲神经网络在准确性方面仍落后于人工神经网络，但在许多任务中可以达到相同的准确性并需要更少的计算操作。

Apr, 2018

深度脉冲神经网络中快速且准确的 ANN-SNN 转换

本文分析了 ANN-SNN 转换的理论，并提出了使用速率规范层替换源 ANN 训练中的 ReLU 激活函数以实现直接转换的方法。我们还提出了一种最优拟合曲线来量化源 ANN 的激活值与目标 SNN 实际发射率之间的匹配度，并通过优化上述拟合曲线的上界来减少推断时间以实现快速推断。实验结果表明，该方法在 VGG-16、PreActResNet-18 和更深的结构上实现了接近于无损转换，并且在 0.265 倍的能量消耗下实现了 8.6 倍的更快推断性能。

May, 2021