将可学习的膜时间常数纳入以增强脉冲神经网络的学习能力
本文介绍了一种针对 Leaky Integrate and Fire 神经元的高效训练算法,该算法能够训练 SNN 学习复杂的时空模式,并且通过与硬件结合的方式,展示了神经元和突触基于忆阻器的网络实现的原理及优点。
Apr, 2021
提出一种训练算法,将 SNN 作为无限脉冲响应(IIR)滤波器的网络,以学习 SNN 的时空模式,并构建用于合成和公共数据集的联想记忆和分类器,其准确度优于最先进的方法。
Feb, 2020
通过优化初始膜电位实现高精度 ANN-to-SNN 转换,使得 SNN 在低延迟下达到了与最优性能相当的准确率,并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最新的结果。
Feb, 2022
通过协同学习连接权重、神经元适应过程和突触传播延迟等生物灵感神经元特征,本文展示了脉冲神经网络 (SNN) 在数据处理方面的增强,进而在具有丰富时间动态的任务上表现出与等效人工神经网络 (ANN) 类似大小的最先进效果。
Sep, 2023
本文介绍了一种新型的深度脉冲神经网络(DSN),它可以直接进行参数训练,不需要先用传统深度神经网络的训练结果来初始化;研究表明,在 DSN 中控制反向路径的膜电位初始值是非常重要的,同时本文提出了一种简单而有效的方法可以加快 DSN 的收敛时间并提高准确性。
Nov, 2016
该论文介绍了一种新技术,将尖峰神经元的电位视为可微信号,从而在较少的精度损失的情况下通过误差反向传播机制直接对尖峰信号和电位进行训练,这使得深度尖峰神经网络比以往的间接训练方法表现更好,能够更精确地捕获尖峰的静态特征。测试结果表明,该算法在 MNIST 和 N-MNIST 数据集上比以往的 SNNs 方法表现更好。
Aug, 2016
本文研究了脉冲神经网络的训练方法,将其应用于 CIFAR10 和 ImageNet 数据集中,并采用量化和扰动方式增强其稳健性,最终证明了脉冲神经网络在实际应用中具有高性能和高能效的可行性。
Sep, 2019
本研究基于 memristive neuron 和 memristive synapse 提出了一个完全基于 memristor 的脉冲神经网络 (MSNN),并采用无监督的 Spiking Time Dependent Plasticity (STDP) 学习规则。我们通过电路模拟验证了 MSNN 的学习效果,并实现了两种类型的 MSNN 结构:一种是生物学合理的记忆检索系统,另一种是用于多类别分类。
Mar, 2022
通过提出神经元规范化技术和直接学习算法,以及缩小速率编码窗口和将漏电整合 - 击发(LIF)模型转换为显式迭代版本的 Pytorch 实现方法,训练了高性能的 CIFAR10 数据集上的深度 SNN,开辟了探究 SNN 潜力的新途径。
Sep, 2018
提出了一个新的离线离散时间算法,基于通过时间的 1D 卷积进行模拟,来学习深度前馈 SNN 中的延迟并提高其表现,这一算法使用了可学习间隔的扩张卷积(DCLS),在测试中表现优于最新技术,为时序数据处理中精确模型的发展提供了潜力。
Jun, 2023