利用神经元和突触滤波器动态特性在深度脉冲神经网络的时空学习中实现利用
本文介绍了一种针对 Leaky Integrate and Fire 神经元的高效训练算法,该算法能够训练 SNN 学习复杂的时空模式,并且通过与硬件结合的方式,展示了神经元和突触基于忆阻器的网络实现的原理及优点。
Apr, 2021
本文从认知神经科学方面入手,分析了 Spiking Neural Networks 这种新型生物神经样本学习 / 数据处理模型在模型、训练算法上面的优点和缺点,其中使用了概率模型和时间反向传播算法解决了部分难点,最后在神经元数据集上进行了对比实验.
Oct, 2020
本研究提出了一个基于神经脉冲的建模框架,使得 SNN 网络可以直接应用于处理图形数据。通过空时展开的神经脉冲数据流,我们将图形卷积滤波器与神经脉冲动力学相结合,并提出了一种适用于 SNN 的空时特征归一化技术 (STFN),并将其实例化为两个脉冲图形模型。在三个节点分类基准上验证了我们的模型的性能,包括 Cora,Citeseer 和 Pubmed。实验结果表明,我们的方法与现有的图神经网络 (GNN) 模型相比具有可比性,但计算成本明显更低,可以在神经形态硬件上得到很好的应用。
Jun, 2021
通过协同学习连接权重、神经元适应过程和突触传播延迟等生物灵感神经元特征,本文展示了脉冲神经网络 (SNN) 在数据处理方面的增强,进而在具有丰富时间动态的任务上表现出与等效人工神经网络 (ANN) 类似大小的最先进效果。
Sep, 2023
SNNs, when combined with synaptic delay and temporal coding, demonstrate efficient graph reasoning and achieve significant energy savings compared to non-spiking networks.
May, 2024
本文通过估算 SNN 中权重的 Fisher 信息在训练期间的分布来回答了几个基本问题,发现时间信息浓缩现象是 SNN 的一个普遍的学习特征,并提出了一种基于该现象的高效迭代剪枝方法。
Nov, 2022
本文研究了脉冲神经网络的训练方法,将其应用于 CIFAR10 和 ImageNet 数据集中,并采用量化和扰动方式增强其稳健性,最终证明了脉冲神经网络在实际应用中具有高性能和高能效的可行性。
Sep, 2019
本文综述了基于直接学习的深度脉冲神经网络研究,重点讨论了提高准确性、提高效率和利用时间动态的方法,并进一步分类和总结。同时,展望了未来研究中可能面临的挑战和趋势。
May, 2023
本文发展了一种新的 SNN 训练方法,即突触阈值协同学习 (Synapse-Threshold Synergistic Learning),该方法同时训练 SNN 中的突触权重和阈值。研究结果表明,与仅使用突触学习或阈值学习的 SNN 相比,使用本文方法训练的 SNN 在各种静态和神经形态数据集上都具有明显更高的准确性,且可通过引入广义联合决策框架进一步提高性能。
Jun, 2022