Jun, 2024

SpikeZIP-TF：基于 Transformer 的 SNN 所需的转换

PDF
TL;DRSpikeZIP-TF 是一种新的 ANN-to-SNN 转换方法，其 ANN 和 SNN 之间的等效性不会导致准确率降低，在 CV 和 NLP 任务上分别获得了 83.82% 和 93.79% 的准确率，优于目前最先进的基于 Transformer 的 SNNs。
发现论文，激发创造
  • 高精度和超低延迟的脉冲神经网络的最佳 ANN-SNN 转换

    本研究提出量化裁剪 - 移位激活函数以更好地逼近 Spiking Neural Networks 的激活函数，能在超低延迟 (4 time-steps) 的情况下实现高精度和超低延迟的 SNNs，并在 CIFAR-10/100 和 ImageNet 数据集上提高了性能。

    Mar, 2023

  • Spikeformer：一种用于训练高性能低延迟脉冲神经网络的新型结构

    提出了一种基于 Transformer 的 Spikeformer 方法，它在静态数据集和神经形态数据集上均优于其人工神经网络对应物。为了更好地将注意力机制整合到 Transformer 中，并融合内在于 SNN 的时空信息，采用时空注意力机制。

    Nov, 2022

  • 生物启发计算与深度学习的相遇：从人工神经网络到低延迟、准确、高能效的脉冲神经网络

    通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法，我们提出了一种新的 ANN 转 SNN 框架，可以以极低的时间步和高级稀疏性实现无损 SNN，低延迟，低计算能耗和高测试准确性（例如，ImageNet 数据集上只有 4 个时间步的准确率为 73.30%）。

    Dec, 2023

  • 低延迟脉冲神经网络的优化电位初始化

    通过优化初始膜电位实现高精度 ANN-to-SNN 转换，使得 SNN 在低延迟下达到了与最优性能相当的准确率，并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最新的结果。

    Feb, 2022

  • 双相优化下实现超低延迟无损 ANN-SNN 转换

    本论文提出一种双相转换算法，通过减少量化误差、裁剪误差和残余膜电势表示误差来提高深度脉冲神经网络（SNN）的准确性，并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上表现出与人工神经网络（ANNs）相当的准确性和更低的能源消耗。

    May, 2022

  • 一脉冲 SNN：基于相位编码和基底操作的 ANN 到 SNN 转换损失最小化

    本研究提出了一种单脉冲相位编码方案，用于将预训练人工神经网络（ANN）转换为脉冲神经网络（SNN），从而实现较高的精确度和能效。

    Jan, 2024

  • TCL：一种可训练剪切层的 ANN-to-SNN 转换方法

    该研究提出了一种名为 TCL 的技术，可有效解决较大规模数据集（如 ImageNet）中 SNN 的准确性和延迟之间的权衡问题，实现了 VGG-16 和 ResNet-34 的 73.87％和 70.37％的准确性，以及 250 个周期的中等延迟。

    Aug, 2020

  • 将传统人工神经网络转化为脉冲神经网络的最优方案

    本文介绍了一种将传统人工神经网络转化为脉冲神经网络的新方法，该方法使用门限平衡和软重置机制将权重转移至目标 SNN，以降低转换误差。该方法能够保证几乎不出现精度损失，并且只需要典型 SNN 模拟时间的 1/10，非常适合于对 SNN 极限能量和内存进行支持的嵌入式平台上的实现。

    Feb, 2021

  • Spikformer V2：使用 SNN 特征进行 ImageNet 高精度计算

    通过结合自注意能力和生物特性，本论文提出了一种新颖的脉冲自注意 (SSA) 和脉冲变换器 (Spikformer)，其中 SSA 机制消除了 softmax 的需求，利用基于脉冲的查询、键和值实现了稀疏视觉特征的捕获，而 SCS 则用于增强 Spikformer 的架构。通过自监督学习 (SLS) 实现对更大、更深的 Spikformer V2 的训练，实验证明此方法在 ImageNet 上的分类准确性超过了其他方法，且 SNN 首次在 ImageNet 上达到超过 80% 的准确性。

    Jan, 2024

  • 深度脉冲神经网络中快速且准确的 ANN-SNN 转换

    本文分析了 ANN-SNN 转换的理论，并提出了使用速率规范层替换源 ANN 训练中的 ReLU 激活函数以实现直接转换的方法。我们还提出了一种最优拟合曲线来量化源 ANN 的激活值与目标 SNN 实际发射率之间的匹配度，并通过优化上述拟合曲线的上界来减少推断时间以实现快速推断。实验结果表明，该方法在 VGG-16、PreActResNet-18 和更深的结构上实现了接近于无损转换，并且在 0.265 倍的能量消耗下实现了 8.6 倍的更快推断性能。

    May, 2021