膜电位批归一化用于脉冲神经网络

ICCVAug, 2023

膜电位批归一化用于脉冲神经网络

Membrane Potential Batch Normalization for Spiking Neural Networks

Yufei Guo, Yuhan Zhang, Yuanpei Chen, Weihang Peng, Xiaode Liu...

TL;DR本研究介绍了一种在脉冲神经网络中使用的新型批标准化方法，称为膜电位标准化（MPBN），以优化深层模型的训练过程，并通过重新参数化技术将其与脉冲神经网络的推断步骤解耦，实现有效的时间性能。

Abstract

As one of the energy-efficient alternatives of conventional neural networks (CNNs), spiking neural networks (SNNs) have gained more and more interest recently. To train the deep models, some effective batch normalizatio

spiking neural networks batch normalization membrane potential mpbn re-parameterization technique

发现论文，激发创造

重新思考规范化和残差块在脉冲神经网络中的作用

通过使用一种新的、简单的归一化技术 ——postsynaptic potential normalization，本研究解决了深度 spiking neural networks 由于隐藏层中 spiking neurons 的过度激发而难以训练的问题，并且可以通过预激活残差块训练多达 100 层，且比其他使用其他规范化方法的模型表现更好。

Mar, 2022

重新审视批量归一化，为了从头开始训练低延迟的深度脉冲神经网络

该研究论文提出了一种名为 BNTT 的时域批量归一化技术，用于 SNNs 的训练，通过不同时间间隔上的可学习参数，允许神经元控制它的脉冲率，从而实现低延迟和低能耗的训练，首次在复杂数据集上从无到有地训练深层 SNNs，并使用 BNTT 中的参数分布来减少推理的延迟，进一步提高能效。

Oct, 2020

RMP-SNN：残余膜电位神经元实现更深、更高准确度和更低延迟的脉冲神经网络

使用 Residual Membrane Potential (RMP) 神经元的 ANN-SNN 转换可在多个数据集和网络结构上实现近乎零损失的图像识别和推理，且优于使用硬复位尖峰神经元的 SNN 推理精度。

Feb, 2020

深入研究直接训练更大尺寸的脉冲神经网络

提出了一种基于阈值相关批归一化（tdBN）和空间时间反向传播（STBP）的方法，可直接训练深度脉冲神经网络（SNN），并在神经形态硬件上实现其推理，单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率，是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。

Oct, 2020

RMP-Loss: 正则化脉冲神经网络的膜电位分布

我们提出了一种调节与量化误差密切相关的分布范围接近于脉冲的正则化膜电位损失 (RMP-Loss) 的方法，该方法非常简单易于实现和训练 SNN，并且在不同网络架构和数据集上始终表现优于以往的最先进方法。

Aug, 2023

降低脉冲神经网络的信息损失

使用 “软复位” 机制和膜电位整流器 (MPR) 的脉冲神经网络 (SNNs) 在静态和动态数据集上表现优于普通 SNNs。

Jul, 2023

使用反向传播训练深度脉冲神经网络

该论文介绍了一种新技术，将尖峰神经元的电位视为可微信号，从而在较少的精度损失的情况下通过误差反向传播机制直接对尖峰信号和电位进行训练，这使得深度尖峰神经网络比以往的间接训练方法表现更好，能够更精确地捕获尖峰的静态特征。测试结果表明，该算法在 MNIST 和 N-MNIST 数据集上比以往的 SNNs 方法表现更好。

Aug, 2016

提高深度脉冲神经网络训练性能的有效方法

本文介绍了一种新型的深度脉冲神经网络（DSN），它可以直接进行参数训练，不需要先用传统深度神经网络的训练结果来初始化；研究表明，在 DSN 中控制反向路径的膜电位初始值是非常重要的，同时本文提出了一种简单而有效的方法可以加快 DSN 的收敛时间并提高准确性。

Nov, 2016

低延迟脉冲神经网络的优化电位初始化

通过优化初始膜电位实现高精度 ANN-to-SNN 转换，使得 SNN 在低延迟下达到了与最优性能相当的准确率，并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最新的结果。

Feb, 2022

用于高性能脉冲神经网络训练的时空反向传播

通过结合空间域（SD）和时间相关的时域（TD），并提出了一种适合于梯度下降训练的迭代 LIF 模型，以及脉冲活动的近似导数，本文提出了一种新的时空反向传播（STBP）训练框架，它能够使多层感知器 (MLP) 在静态 MNIST 和动态 N-MNIST 数据集以及自定义对象检测数据集上获得比现有状态 - of-the-art 算法更好的性能。该框架为未来的类脑计算范式探索高性能脉冲神经网络提供了新的视角。

Jun, 2017