本文提出了一种人工神经网络和脉冲神经网络之间联合训练的框架，其中人工神经网络可以引导脉冲神经网络的优化。我们通过多个网络分支将人工神经网络中的知识提炼到脉冲神经网络中，并限制了两者的参数，分享部分参数和学习不同的独立权重。在多项广泛的网络结构实验中，我们的方法始终表现出色，超越了许多其他最先进的训练方法。例如，在 CIFAR100 分类任务中，我们的方法训练的脉冲 ResNet-18 模型只需要 4 个时间步，就可以达到 77.39％的 top-1 准确率。

May, 2023

通过引入 attention 机制和采用分层知识蒸馏的方法，提出了新的 SNN 训练框架 LaSNN，实现了与 ANN 比较的竞争性准确率和比转换的 SNN 快 20 倍的推理速度，并且具有灵活性和可扩展性。

Apr, 2023

该研究论文讨论深度脉冲神经网络的训练方法，比较有监督和无监督学习的准确性、计算成本和硬件友好性，发现深度脉冲神经网络在准确性方面仍落后于人工神经网络，但在许多任务中可以达到相同的准确性并需要更少的计算操作。

Apr, 2018

本文提出了一种基于进化算法的结构构建方法，通过集成知识蒸馏和连接修剪方法，优化 SNN 的突触连接以达到最优状态，并在 CIFAR100 和 DVS-Geste 上进行了实验，结果表明该方法可以在降低连接冗余的同时获得良好的性能。

Apr, 2023

脉冲神经网络 (SNNs) 通过事件驱动、低功耗特性和高生物解释性而引起了广泛关注。本文通过知识蒸馏 (KD) 提高了预训练教师模型的 SNN 模型性能，同时探索了一种经济高效的自我蒸馏学习方法，即时间 - 空间自我蒸馏 (TSSD) 学习方法。实验证明该方法在多个数据集上具有卓越的性能，为高性能 SNN 学习方法提供了新的融合思路。

Jun, 2024

利用知识蒸馏和梯度下降进行训练可以优化脉冲神经网络的性能和脉冲活动之间的平衡，同时激活正则化和逻辑回归方法可以减少网络的脉冲活动。

Jun, 2024

本文综述了基于直接学习的深度脉冲神经网络研究，重点讨论了提高准确性、提高效率和利用时间动态的方法，并进一步分类和总结。同时，展望了未来研究中可能面临的挑战和趋势。

May, 2023

提出了一种基于阈值相关批归一化（tdBN）和空间时间反向传播（STBP）的方法，可直接训练深度脉冲神经网络（SNN），并在神经形态硬件上实现其推理，单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率，是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。

Oct, 2020

本文介绍了一种将传统人工神经网络转化为脉冲神经网络的新方法，该方法使用门限平衡和软重置机制将权重转移至目标 SNN，以降低转换误差。该方法能够保证几乎不出现精度损失，并且只需要典型 SNN 模拟时间的 1/10，非常适合于对 SNN 极限能量和内存进行支持的嵌入式平台上的实现。

Feb, 2021

该文章讨论了 Spiking Neural Networks (SNNs) 的局限性，介绍了一种方法来解决这些问题使用无监督学习来快速发现输入数据中的稀疏可识别特征，使 SNNs 成为一种使用未标记数据进行快速、准确、高效、可解释和可重新部署的机器学习的新方法。

Aug, 2022