ICCVAug, 2023

RMP-Loss: 正则化脉冲神经网络的膜电位分布

PDF
TL;DR我们提出了一种调节与量化误差密切相关的分布范围接近于脉冲的正则化膜电位损失 (RMP-Loss) 的方法，该方法非常简单易于实现和训练 SNN，并且在不同网络架构和数据集上始终表现优于以往的最先进方法。
spiking neural networksquantization errorregularizing membrane potential lossinformation lossstate-of-the-art methods
发现论文，激发创造
  • 降低脉冲神经网络的信息损失

    使用 “软复位” 机制和膜电位整流器 (MPR) 的脉冲神经网络 (SNNs) 在静态和动态数据集上表现优于普通 SNNs。

    Jul, 2023

  • RMP-SNN：残余膜电位神经元实现更深、更高准确度和更低延迟的脉冲神经网络

    使用 Residual Membrane Potential (RMP) 神经元的 ANN-SNN 转换可在多个数据集和网络结构上实现近乎零损失的图像识别和推理，且优于使用硬复位尖峰神经元的 SNN 推理精度。

    Feb, 2020

  • 膜电位批归一化用于脉冲神经网络

    本研究介绍了一种在脉冲神经网络中使用的新型批标准化方法，称为膜电位标准化（MPBN），以优化深层模型的训练过程，并通过重新参数化技术将其与脉冲神经网络的推断步骤解耦，实现有效的时间性能。

    Aug, 2023

  • 通过剩余膜电位减少 ANN-SNN 转换误差

    本文提出了一种基于剩余膜电位的优化策略，旨在降低脉冲到达时间序列下 SNNs 中不平衡误差，从而达到与 ANNs 等效水平的性能，实验结果表明该策略在复杂数据集 ImageNet 上取得了最先进的性能，例如在 10 步之内达到了 64.32% 的准确率。

    Feb, 2023

  • Q-SNNs: 量化尖峰神经网络

    我们介绍了一种轻量级和硬件友好的量化 SNN（Q-SNN），该方法对突触权重和膜电位进行量化，显著减少内存使用和计算复杂性，提出了一种受信息熵理论启发的新的权重 - 脉冲双重调节（WS-DR）方法，实验证明我们的 Q-SNN 在模型大小和准确性方面优于现有方法，这些在效率和功效方面的最新成果表明该方法可以显着改善边缘智能计算。

    Jun, 2024

  • 提高深度脉冲神经网络训练性能的有效方法

    本文介绍了一种新型的深度脉冲神经网络（DSN），它可以直接进行参数训练，不需要先用传统深度神经网络的训练结果来初始化；研究表明，在 DSN 中控制反向路径的膜电位初始值是非常重要的，同时本文提出了一种简单而有效的方法可以加快 DSN 的收敛时间并提高准确性。

    Nov, 2016

  • 低延迟脉冲神经网络的优化电位初始化

    通过优化初始膜电位实现高精度 ANN-to-SNN 转换，使得 SNN 在低延迟下达到了与最优性能相当的准确率，并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最新的结果。

    Feb, 2022

  • 膜电位分布调整和参数化代理梯度在脉冲神经网络中的应用

    本文提供了一种新的方法（parametric surrogate gradient），用于根据候选 SG 的形状来确定最优 surrogate gradient 参数，以及用于调整潜在偏移量的方法（PDA），以帮助 SNNs 在更少的时间步骤内实现最先进的性能，并成功应用于静态和动态数据集的模拟中。

    Apr, 2023

  • 将可学习的膜时间常数纳入以增强脉冲神经网络的学习能力

    本文提出一种训练算法，能够在学习神经元突触权重的同时，学习神经元膜电容与时间常数，结果表明，该算法在多项数据集和识别任务中的表现皆超越现有的算法，并具有更快的训练速度和更不敏感的初始值问题。

    Jul, 2020

  • 可学习正则化的稀疏低精度神经网络学习

    本文提出了一种使用低精度权重和操作的 DNN 学习方法，利用可学习的正则化系数来加强高精度权重收敛到量化值的能力，并研究了如何通过权重剪枝、量化和熵编码来建立低精度 DNN 压缩管道，实验结果显示该方法可以在 ImageNet 分类和图像超分辨率网络的任务中取得与准确性相对可接受的最新压缩比。

    Sep, 2018