Apr, 2023

SEENN：面向时态触发提前退出神经网络

PDF
TL;DR本研究探讨了一种调整 Spiking Neural Networks 中时间步数的方法 ——Spiking Early-Exit Neural Networks (SEENN)，并提出了两种确定适当时间步数的策略，SEENN-I 和 SEENN-II。我们证明 SEENN 对于直接训练 SNN 和 ANN-SNN 的转换两种情况均兼容，并通过动态调整时间步数，在推理中实现了显著减少冗余时间步数的效果。例如，在 CIFAR-10 测试数据集上，我们的 SEENN-II ResNet-19 可实现 96.1％的准确度，平均时间步数为 1.08。
发现论文，激发创造
  • 使用动态时间步长的脉冲神经网络用于视觉变换器

    基于动态分配时间步数的训练框架，提出了一种对视觉变换器进行训练的方法，以提高能量效率并在图像识别任务中获得 95.97% 的测试准确率。

    Nov, 2023

  • 一个时间步长就足够了：使用超低延迟训练脉冲神经网络

    本文提出了一种针对脉冲神经网络的迭代初始化及重训练方法 (IIR-SNN) 来进行单次推断，在保证精度的情况下将时延降到了极致，实验结果表明，该方法不仅具有可比较的性能，而且比同类算法在能效方面提高了 25-33 倍，相当于标准深度神经网络的性能。

    Oct, 2021

  • 面向高效内存计算的自适应输入间隔动态脉冲神经网络

    当前，脉冲神经网络因其对稀疏和二元脉冲信息的处理能力以及避免昂贵的乘法操作而引起了广泛研究兴趣。然而，如果使用 In-Memory Computing（IMC）架构，SNNs 的能量成本和延迟会随时间步数线性增长。因此，为了最大化 SNN 的效率，我们提出了一种基于动态时间步长的输入感知 SNN 算法，通过计算每个时间步长后输出的熵来动态确定时间步长的数量，从而实现将能量延迟产品降低 80%。

    May, 2023

  • 生物启发计算与深度学习的相遇：从人工神经网络到低延迟、准确、高能效的脉冲神经网络

    通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法，我们提出了一种新的 ANN 转 SNN 框架，可以以极低的时间步和高级稀疏性实现无损 SNN，低延迟，低计算能耗和高测试准确性（例如，ImageNet 数据集上只有 4 个时间步的准确率为 73.30%）。

    Dec, 2023

  • 易于训练和稳健性能的时间编码深度脉冲神经网络

    本文研究了脉冲神经网络的训练方法，将其应用于 CIFAR10 和 ImageNet 数据集中，并采用量化和扰动方式增强其稳健性，最终证明了脉冲神经网络在实际应用中具有高性能和高能效的可行性。

    Sep, 2019

  • 使用优化效率和最小延迟的通用脉冲神经网络训练

    提出了一个通用的训练框架，提高了有限时间步长内特征学习和激活效率，为更节能的 SNN 提供了新的解决方案。

    Jan, 2024

  • 深入研究直接训练更大尺寸的脉冲神经网络

    提出了一种基于阈值相关批归一化（tdBN）和空间时间反向传播（STBP）的方法，可直接训练深度脉冲神经网络（SNN），并在神经形态硬件上实现其推理，单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率，是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。

    Oct, 2020

  • 直接训练需要正则化：任何时候最优推理脉冲神经网络

    使用新颖的空时正则化技术 Spatial-Temporal Regulariser（STR）开发的一种适应性时间步间隔的脉冲神经网络（Spiking Neural Network，SNN），通过在每个时间步中调整脉冲强度和膜电位之间的比例，有效平衡了训练过程中的空间和时间性能，最终实现了全时最优推理（Anytime Optimal Inference，AOI）SNN，在基于帧和事件的数据集上与 softmax 输出截断相结合，达到了最先进的延迟和准确性。

    Apr, 2024

  • 超低延迟高精度物体检测的脉冲神经网络

    提出了两种方法并创造了一种名为 SUHD 的基于 SNN 的超低延迟、高精度物体检测模型，相对于 Spiking-YOLO，SUHD 在 MS COCO 数据集上可以大约减少 750 倍的时间步，同时提高了 30％的平均精度 (mAP)。

    Jun, 2023

  • 自适应脉冲循环神经网络精确高效的时间域分类

    本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络，将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平，并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级，从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。

    Mar, 2021