Mar, 2023

MT-SNN：多阈值增强脉冲神经网络

PDF
TL;DR本文提出了一种多阈值（MT）方法，以缓解由二值激活带来的精度损失，从而使 SNNs 可以在更少的步骤达到更高的准确性，通过在 CIFAR10，CIFAR100 和 DVS-CIFAR10 上的评估，证明了 MT 可以广泛促进 SNNs，特别是在早期步骤中，例如，使用 MT，基于 Parametric-Leaky-Integrate-Fire（PLIF）的 VGG 网络甚至可以在 1 个步骤中胜过 ANN 对应物。
spiking neural networksenergy-efficientbinarized activationsmultiple threshold approachaccuracy
发现论文，激发创造
  • 低延迟脉冲神经网络的优化电位初始化

    通过优化初始膜电位实现高精度 ANN-to-SNN 转换，使得 SNN 在低延迟下达到了与最优性能相当的准确率，并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最新的结果。

    Feb, 2022

  • LM-HT SNN：通过可学习的多层次阈值模型增强 SNN 至 ANN 的性能

    通过分析多阈值模型、简单尖峰模型和量化人工神经网络之间的关系，从数学角度提出了一种新颖的 LM-HT 模型，该模型是一个等距多层次模型，可以在时间维度上动态调节全局输入电流和膜电位漏电。我们注意到基于 LM-HT 模型的直接训练算法可以与传统的 ANN-SNN 转化框架无缝集成，该新颖的混合学习框架可以有效提高低时间延迟下经过转换的 SNN 的性能。大量的实验证明，我们的 LM-HT 模型在各类数据集上明显优于之前的最先进工作，促使 SNNs 达到了与量化 ANNs 相当的全新水平的性能。

    Feb, 2024

  • 使用动态时间步长的脉冲神经网络用于视觉变换器

    基于动态分配时间步数的训练框架，提出了一种对视觉变换器进行训练的方法，以提高能量效率并在图像识别任务中获得 95.97% 的测试准确率。

    Nov, 2023

  • 脉冲神经网络的突触阈值协同学习方法

    本文发展了一种新的 SNN 训练方法，即突触阈值协同学习 (Synapse-Threshold Synergistic Learning)，该方法同时训练 SNN 中的突触权重和阈值。研究结果表明，与仅使用突触学习或阈值学习的 SNN 相比，使用本文方法训练的 SNN 在各种静态和神经形态数据集上都具有明显更高的准确性，且可通过引入广义联合决策框架进一步提高性能。

    Jun, 2022

  • 使用优化效率和最小延迟的通用脉冲神经网络训练

    提出了一个通用的训练框架，提高了有限时间步长内特征学习和激活效率，为更节能的 SNN 提供了新的解决方案。

    Jan, 2024

  • 脉冲神经网络的直接训练：更快，更大，更好

    通过提出神经元规范化技术和直接学习算法，以及缩小速率编码窗口和将漏电整合 - 击发（LIF）模型转换为显式迭代版本的 Pytorch 实现方法，训练了高性能的 CIFAR10 数据集上的深度 SNN，开辟了探究 SNN 潜力的新途径。

    Sep, 2018

  • 将传统人工神经网络转化为脉冲神经网络的最优方案

    本文介绍了一种将传统人工神经网络转化为脉冲神经网络的新方法，该方法使用门限平衡和软重置机制将权重转移至目标 SNN，以降低转换误差。该方法能够保证几乎不出现精度损失，并且只需要典型 SNN 模拟时间的 1/10，非常适合于对 SNN 极限能量和内存进行支持的嵌入式平台上的实现。

    Feb, 2021

  • 生物启发计算与深度学习的相遇：从人工神经网络到低延迟、准确、高能效的脉冲神经网络

    通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法，我们提出了一种新的 ANN 转 SNN 框架，可以以极低的时间步和高级稀疏性实现无损 SNN，低延迟，低计算能耗和高测试准确性（例如，ImageNet 数据集上只有 4 个时间步的准确率为 73.30%）。

    Dec, 2023

  • 深入研究直接训练更大尺寸的脉冲神经网络

    提出了一种基于阈值相关批归一化（tdBN）和空间时间反向传播（STBP）的方法，可直接训练深度脉冲神经网络（SNN），并在神经形态硬件上实现其推理，单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率，是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。

    Oct, 2020

  • 自适应脉冲循环神经网络精确高效的时间域分类

    本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络，将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平，并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级，从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。

    Mar, 2021