降低脉冲神经网络的信息损失
我们提出了一种调节与量化误差密切相关的分布范围接近于脉冲的正则化膜电位损失 (RMP-Loss) 的方法,该方法非常简单易于实现和训练 SNN,并且在不同网络架构和数据集上始终表现优于以往的最先进方法。
Aug, 2023
使用 Residual Membrane Potential (RMP) 神经元的 ANN-SNN 转换可在多个数据集和网络结构上实现近乎零损失的图像识别和推理,且优于使用硬复位尖峰神经元的 SNN 推理精度。
Feb, 2020
我们介绍了一种轻量级和硬件友好的量化 SNN(Q-SNN),该方法对突触权重和膜电位进行量化,显著减少内存使用和计算复杂性,提出了一种受信息熵理论启发的新的权重 - 脉冲双重调节(WS-DR)方法,实验证明我们的 Q-SNN 在模型大小和准确性方面优于现有方法,这些在效率和功效方面的最新成果表明该方法可以显着改善边缘智能计算。
Jun, 2024
通过优化初始膜电位实现高精度 ANN-to-SNN 转换,使得 SNN 在低延迟下达到了与最优性能相当的准确率,并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最新的结果。
Feb, 2022
本文提出了一种基于剩余膜电位的优化策略,旨在降低脉冲到达时间序列下 SNNs 中不平衡误差,从而达到与 ANNs 等效水平的性能,实验结果表明该策略在复杂数据集 ImageNet 上取得了最先进的性能,例如在 10 步之内达到了 64.32% 的准确率。
Feb, 2023
本文提出了一种多阈值(MT)方法,以缓解由二值激活带来的精度损失,从而使 SNNs 可以在更少的步骤达到更高的准确性,通过在 CIFAR10,CIFAR100 和 DVS-CIFAR10 上的评估,证明了 MT 可以广泛促进 SNNs,特别是在早期步骤中,例如,使用 MT,基于 Parametric-Leaky-Integrate-Fire(PLIF)的 VGG 网络甚至可以在 1 个步骤中胜过 ANN 对应物。
Mar, 2023
本研究介绍了一种在脉冲神经网络中使用的新型批标准化方法,称为膜电位标准化(MPBN),以优化深层模型的训练过程,并通过重新参数化技术将其与脉冲神经网络的推断步骤解耦,实现有效的时间性能。
Aug, 2023
通过理论和实验证明,二进制尖峰激活图无法携带足够的信息,导致精度下降;为了解决这个问题,提出了一种三值尖峰神经元来传输信息,该神经元能够提高信息容量;通过在该神经元中嵌入可训练因子,使得深层 SNN 的尖峰幅度适应不同的膜电位分布;通过重新参数化技术,在推断中将可训练的三值尖峰 SNN 转换为标准形式;在静态和动态数据集上进行了广泛实验,结果表明三值尖峰始终优于现有方法。
Dec, 2023
通过使用一种新的、简单的归一化技术 ——postsynaptic potential normalization,本研究解决了深度 spiking neural networks 由于隐藏层中 spiking neurons 的过度激发而难以训练的问题,并且可以通过预激活残差块训练多达 100 层,且比其他使用其他规范化方法的模型表现更好。
Mar, 2022
本文介绍了一种新型的深度脉冲神经网络(DSN),它可以直接进行参数训练,不需要先用传统深度神经网络的训练结果来初始化;研究表明,在 DSN 中控制反向路径的膜电位初始值是非常重要的,同时本文提出了一种简单而有效的方法可以加快 DSN 的收敛时间并提高准确性。
Nov, 2016