CVPRFeb, 2020

RMP-SNN：残余膜电位神经元实现更深、更高准确度和更低延迟的脉冲神经网络

PDF
TL;DR使用 Residual Membrane Potential (RMP) 神经元的 ANN-SNN 转换可在多个数据集和网络结构上实现近乎零损失的图像识别和推理，且优于使用硬复位尖峰神经元的 SNN 推理精度。
spiking neural networksann-snn conversionresidual membrane potentialimage recognitioninference accuracy
发现论文，激发创造
  • 通过剩余膜电位减少 ANN-SNN 转换误差

    本文提出了一种基于剩余膜电位的优化策略，旨在降低脉冲到达时间序列下 SNNs 中不平衡误差，从而达到与 ANNs 等效水平的性能，实验结果表明该策略在复杂数据集 ImageNet 上取得了最先进的性能，例如在 10 步之内达到了 64.32% 的准确率。

    Feb, 2023

  • 降低脉冲神经网络的信息损失

    使用 “软复位” 机制和膜电位整流器 (MPR) 的脉冲神经网络 (SNNs) 在静态和动态数据集上表现优于普通 SNNs。

    Jul, 2023

  • 低延迟脉冲神经网络的优化电位初始化

    通过优化初始膜电位实现高精度 ANN-to-SNN 转换，使得 SNN 在低延迟下达到了与最优性能相当的准确率，并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最新的结果。

    Feb, 2022

  • RMP-Loss: 正则化脉冲神经网络的膜电位分布

    我们提出了一种调节与量化误差密切相关的分布范围接近于脉冲的正则化膜电位损失 (RMP-Loss) 的方法，该方法非常简单易于实现和训练 SNN，并且在不同网络架构和数据集上始终表现优于以往的最先进方法。

    Aug, 2023

  • 脉冲深度残差网络

    提出了一种有效的方法，将 ResNet 转换为名为 S-ResNet 的脉冲神经元网络，该方法采用转换模型和补偿机制来降低离散化引起的误差，并在 CIFAR-10，CIFAR-100 和 ImageNet 2012 数据集上实现了比现有 SNN 途径更好的性能，这是第一次在大规模数据集上构建超过 40 层深度的 SNN，并获得与 ANNs 相当的性能。

    Apr, 2018

  • 高效内存可逆脉冲神经网络

    我们提出可逆脉冲神经网络以降低训练过程中中间激活和膜电位的内存成本，通过实验证明我们的可逆 SNN 网络在网络深度上不增加每张图片的内存成本，并比现有模型在准确性和消耗的 GPU 内存方面表现更好。

    Dec, 2023

  • 双相优化下实现超低延迟无损 ANN-SNN 转换

    本论文提出一种双相转换算法，通过减少量化误差、裁剪误差和残余膜电势表示误差来提高深度脉冲神经网络（SNN）的准确性，并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上表现出与人工神经网络（ANNs）相当的准确性和更低的能源消耗。

    May, 2022

  • 具有突发电位的脉冲神经网络的高效准确转换

    探讨了 ANN 转换成 SNN 的过程中容易出现的问题，并提出了利用 Lateral Inhibition Pooling 和 Burst spikes 等方法加快推理过程并提高准确性的算法，在 CIFAR 和 ImageNet 数据集上实验取得了很高的效率和精度。

    Apr, 2022

  • 膜电位批归一化用于脉冲神经网络

    本研究介绍了一种在脉冲神经网络中使用的新型批标准化方法，称为膜电位标准化（MPBN），以优化深层模型的训练过程，并通过重新参数化技术将其与脉冲神经网络的推断步骤解耦，实现有效的时间性能。

    Aug, 2023

  • 通过校准偏移电位来弥合 ANN 和 SNN 之间的差距

    在所述文献中，我们提出了一种基于偏移尖峰的 ANN-SNN 转换优化策略，该策略使用初始膜电位的移动来计算尖峰偏移，并可以进一步减少转换误差。实验结果表明，该方法在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最先进的性能。

    Feb, 2023