一个时间步长就足够了：使用超低延迟训练脉冲神经网络

Oct, 2021

一个时间步长就足够了：使用超低延迟训练脉冲神经网络

One Timestep is All You Need: Training Spiking Neural Networks with Ultra Low Latency

Sayeed Shafayet Chowdhury, Nitin Rathi, Kaushik Roy

TL;DR本文提出了一种针对脉冲神经网络的迭代初始化及重训练方法 (IIR-SNN) 来进行单次推断，在保证精度的情况下将时延降到了极致，实验结果表明，该方法不仅具有可比较的性能，而且比同类算法在能效方面提高了 25-33 倍，相当于标准深度神经网络的性能。

Abstract

spiking neural networks (SNNs) are energy efficient alternatives to commonly used deep neural networks (DNNs). Through event-driven information processing, SNNs can reduce the expensive compute requirements of DNNs considerably, while achieving comparable performance. However, high inf

spiking neural networks energy efficiency latency reduction single shot inference iterative initialization and retraining

发现论文，激发创造

使用优化效率和最小延迟的通用脉冲神经网络训练

提出了一个通用的训练框架，提高了有限时间步长内特征学习和激活效率，为更节能的 SNN 提供了新的解决方案。

Jan, 2024

面向高效内存计算的自适应输入间隔动态脉冲神经网络

当前，脉冲神经网络因其对稀疏和二元脉冲信息的处理能力以及避免昂贵的乘法操作而引起了广泛研究兴趣。然而，如果使用 In-Memory Computing（IMC）架构，SNNs 的能量成本和延迟会随时间步数线性增长。因此，为了最大化 SNN 的效率，我们提出了一种基于动态时间步长的输入感知 SNN 算法，通过计算每个时间步长后输出的熵来动态确定时间步长的数量，从而实现将能量延迟产品降低 80%。

May, 2023

使用动态时间步长的脉冲神经网络用于视觉变换器

基于动态分配时间步数的训练框架，提出了一种对视觉变换器进行训练的方法，以提高能量效率并在图像识别任务中获得 95.97% 的测试准确率。

Nov, 2023

缩小您的时间步长：朝着低延迟的脉冲神经网络神经形态目标识别

通过将 SNN 拆分为多个阶段，并逐渐减小时间步长，本研究提出了 Shrinking SNN (SSNN) 来实现低延迟的神经形态学物体识别。SSNN 能够显著降低推理延迟，并通过引入多个早期分类器来消除低延迟下性能的退化。实验证明，在多个神经形态学数据集上，SSNN 能够将基准准确度提高 6.55% ~ 21.41%。在 CIFAR10-DVS 数据集上，SSNN 只需 5 个平均时间步长且无需任何数据增强即可达到 73.63% 的准确度。本研究提出了一个具有异构时间尺度的 SNN，并对高性能、低延迟 SNN 的发展提供了有价值的见解。

Jan, 2024

生物启发计算与深度学习的相遇：从人工神经网络到低延迟、准确、高能效的脉冲神经网络

通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法，我们提出了一种新的 ANN 转 SNN 框架，可以以极低的时间步和高级稀疏性实现无损 SNN，低延迟，低计算能耗和高测试准确性（例如，ImageNet 数据集上只有 4 个时间步的准确率为 73.30%）。

Dec, 2023

深入研究直接训练更大尺寸的脉冲神经网络

提出了一种基于阈值相关批归一化（tdBN）和空间时间反向传播（STBP）的方法，可直接训练深度脉冲神经网络（SNN），并在神经形态硬件上实现其推理，单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率，是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。

Oct, 2020

易于训练和稳健性能的时间编码深度脉冲神经网络

本文研究了脉冲神经网络的训练方法，将其应用于 CIFAR10 和 ImageNet 数据集中，并采用量化和扰动方式增强其稳健性，最终证明了脉冲神经网络在实际应用中具有高性能和高能效的可行性。

Sep, 2019

利用混合转换和时序相关反向传播使深度脉冲神经网络可行

提出了一种基于深度 Spiking Neural Networks 的计算高效的训练方法，使用一个经过转换后的 SNN 为基础，使用脉冲反向传播进行深度训练，再逐步执行基于时序的反向传播，实现训练复杂度大幅降低，极大地减少了处理输入所需的时间步骤。

May, 2020

低延迟脉冲神经网络的优化电位初始化

通过优化初始膜电位实现高精度 ANN-to-SNN 转换，使得 SNN 在低延迟下达到了与最优性能相当的准确率，并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最新的结果。

Feb, 2022

SEENN：面向时态触发提前退出神经网络

本研究探讨了一种调整 Spiking Neural Networks 中时间步数的方法 ——Spiking Early-Exit Neural Networks (SEENN)，并提出了两种确定适当时间步数的策略，SEENN-I 和 SEENN-II。我们证明 SEENN 对于直接训练 SNN 和 ANN-SNN 的转换两种情况均兼容，并通过动态调整时间步数，在推理中实现了显著减少冗余时间步数的效果。例如，在 CIFAR-10 测试数据集上，我们的 SEENN-II ResNet-19 可实现 96.1％的准确度，平均时间步数为 1.08。

Apr, 2023