提出了一种基于阈值相关批归一化(tdBN)和空间时间反向传播(STBP)的方法,可直接训练深度脉冲神经网络(SNN),并在神经形态硬件上实现其推理,单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率,是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。
Oct, 2020
该研究论文讨论深度脉冲神经网络的训练方法,比较有监督和无监督学习的准确性、计算成本和硬件友好性,发现深度脉冲神经网络在准确性方面仍落后于人工神经网络,但在许多任务中可以达到相同的准确性并需要更少的计算操作。
Apr, 2018
通过提出神经元规范化技术和直接学习算法,以及缩小速率编码窗口和将漏电整合 - 击发(LIF)模型转换为显式迭代版本的 Pytorch 实现方法,训练了高性能的 CIFAR10 数据集上的深度 SNN,开辟了探究 SNN 潜力的新途径。
Sep, 2018
该论文综述了近期生物学启发的人工智能方法,重点介绍了脉冲神经网络模型及其训练中的挑战,以及用于传统网络和脉冲网络的生物启发式训练方法,以推进当前模型的计算能力和生物合理性。
Jul, 2023
通过引入近似导数方法和基于脉冲的反向传播方法,本文提出一种可以直接训练深度脉冲神经网络的方法,实验结果表明,该方法在 MNIST、SVHN 和 CIFAR-10 数据集上取得了比其他基于脉冲的神经网络更好的分类效果。
Mar, 2019
本文介绍了一种新型的深度脉冲神经网络(DSN),它可以直接进行参数训练,不需要先用传统深度神经网络的训练结果来初始化;研究表明,在 DSN 中控制反向路径的膜电位初始值是非常重要的,同时本文提出了一种简单而有效的方法可以加快 DSN 的收敛时间并提高准确性。
Nov, 2016
本文从五个主要研究领域综述了脉冲神经网络(SNNs)的最新进展和新的前沿,其中包括关键元素(脉冲神经元模型、编码方法和拓扑结构)、神经形态数据集、优化算法、软件和硬件框架,我们希望这篇调查能帮助研究人员更好地了解 SNNs,并激发新的工作来推进这一领域。
Mar, 2022
本论文探讨了脉冲神经网络在语义分割方面的应用,通过替代全连接层和使用替代梯度学习方法,将基本的全卷积网络和 DeepLab 架构重构为 SNN 域的网络。实验表明,相较于 ANN 网络,SNN 网络在这个领域更加稳健和节能。
Oct, 2021
脉冲神经网络(SNN)是一种受生物启发的神经网络模型,通过脉冲和脉冲列进行神经元之间的通信,与标准人工神经网络(ANN)不同。本文首先对比了 SNN 和脉冲神经 P 系统(SNPS)的结构、功能、优点和缺点,然后综述了 SNN 和 SNPS 形式化方法在机器学习和深度学习模型中的最新研究成果和应用。
Mar, 2024
该论文介绍了一种新技术,将尖峰神经元的电位视为可微信号,从而在较少的精度损失的情况下通过误差反向传播机制直接对尖峰信号和电位进行训练,这使得深度尖峰神经网络比以往的间接训练方法表现更好,能够更精确地捕获尖峰的静态特征。测试结果表明,该算法在 MNIST 和 N-MNIST 数据集上比以往的 SNNs 方法表现更好。
Aug, 2016