AAAIJan, 2024

缩小您的时间步长：朝着低延迟的脉冲神经网络神经形态目标识别

PDF
TL;DR通过将 SNN 拆分为多个阶段，并逐渐减小时间步长，本研究提出了 Shrinking SNN (SSNN) 来实现低延迟的神经形态学物体识别。SSNN 能够显著降低推理延迟，并通过引入多个早期分类器来消除低延迟下性能的退化。实验证明，在多个神经形态学数据集上，SSNN 能够将基准准确度提高 6.55% ~ 21.41%。在 CIFAR10-DVS 数据集上，SSNN 只需 5 个平均时间步长且无需任何数据增强即可达到 73.63% 的准确度。本研究提出了一个具有异构时间尺度的 SNN，并对高性能、低延迟 SNN 的发展提供了有价值的见解。
neuromorphic object recognitionspiking neural networkssnnslatencyshrinking snn
发现论文，激发创造
  • 一个时间步长就足够了：使用超低延迟训练脉冲神经网络

    本文提出了一种针对脉冲神经网络的迭代初始化及重训练方法 (IIR-SNN) 来进行单次推断，在保证精度的情况下将时延降到了极致，实验结果表明，该方法不仅具有可比较的性能，而且比同类算法在能效方面提高了 25-33 倍，相当于标准深度神经网络的性能。

    Oct, 2021

  • 使用动态时间步长的脉冲神经网络用于视觉变换器

    基于动态分配时间步数的训练框架，提出了一种对视觉变换器进行训练的方法，以提高能量效率并在图像识别任务中获得 95.97% 的测试准确率。

    Nov, 2023

  • 超低延迟高精度物体检测的脉冲神经网络

    提出了两种方法并创造了一种名为 SUHD 的基于 SNN 的超低延迟、高精度物体检测模型，相对于 Spiking-YOLO，SUHD 在 MS COCO 数据集上可以大约减少 750 倍的时间步，同时提高了 30％的平均精度 (mAP)。

    Jun, 2023

  • 生物启发计算与深度学习的相遇：从人工神经网络到低延迟、准确、高能效的脉冲神经网络

    通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法，我们提出了一种新的 ANN 转 SNN 框架，可以以极低的时间步和高级稀疏性实现无损 SNN，低延迟，低计算能耗和高测试准确性（例如，ImageNet 数据集上只有 4 个时间步的准确率为 73.30%）。

    Dec, 2023

  • 使用优化效率和最小延迟的通用脉冲神经网络训练

    提出了一个通用的训练框架，提高了有限时间步长内特征学习和激活效率，为更节能的 SNN 提供了新的解决方案。

    Jan, 2024

  • 面向高效内存计算的自适应输入间隔动态脉冲神经网络

    当前，脉冲神经网络因其对稀疏和二元脉冲信息的处理能力以及避免昂贵的乘法操作而引起了广泛研究兴趣。然而，如果使用 In-Memory Computing（IMC）架构，SNNs 的能量成本和延迟会随时间步数线性增长。因此，为了最大化 SNN 的效率，我们提出了一种基于动态时间步长的输入感知 SNN 算法，通过计算每个时间步长后输出的熵来动态确定时间步长的数量，从而实现将能量延迟产品降低 80%。

    May, 2023

  • 脉冲神经网络目标检测的低延迟

    针对物体检测任务，通过改善 SNN 与 ANN 的一致性，提出了结构替换、ANN 激活量化和残差修复的方法，与之前的工作 Spiking-YOLO 相比，实验证明该方法具有更高的准确性和更低的延迟，并展示了 SNN 处理脉冲信号的优势。

    Sep, 2023

  • 低延迟脉冲神经网络的优化电位初始化

    通过优化初始膜电位实现高精度 ANN-to-SNN 转换，使得 SNN 在低延迟下达到了与最优性能相当的准确率，并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最新的结果。

    Feb, 2022

  • 易于训练和稳健性能的时间编码深度脉冲神经网络

    本文研究了脉冲神经网络的训练方法，将其应用于 CIFAR10 和 ImageNet 数据集中，并采用量化和扰动方式增强其稳健性，最终证明了脉冲神经网络在实际应用中具有高性能和高能效的可行性。

    Sep, 2019

  • TopSpark: 一种面向自主移动智能体的节能突触神经网络时间步长优化方法

    提出一种名为 TopSpark 的新方法，该方法利用自适应时间步长缩减来实现 Spiking 神经网络的能量有效处理，并在训练和推理中节省能量消耗。TopSpark 通过分析不同时间步长对精度的影响，确定在不同时间步长下对精度有显著影响的神经元参数，利用参数增强使 SNN 使用更少的尖峰活动有效执行学习和推理，并开发一种策略来平衡精度、延迟和能量需求。结果表明，TopSpark 平均节约 SNN 训练的延迟 3.9 倍，节约能源消耗 3.5 倍，推理节能 3.3 倍，同时保持精度与没有时间步长缩减的 SNN 相当。

    Mar, 2023