SuperSpike: 多层脉冲神经网络中的监督学习
本研究证明了在采用了时间编码方案的前馈脉冲网络中,网络输入 - 输出关系在几乎任何地方都是可微的,并且在变量转换后这种关系是分段线性的。此外,我们展示了通过该方法对项独立 MNIST 任务进行训练的结果,从而证明了训练人工神经网络的方法可以直接应用于训练这种脉冲网络。与基于速率的脉冲网络不同的是,我们所提出的网络的脉冲更为稀疏,且其行为不能直接由传统的人工神经网络来近似。这些结果强调了控制具有复杂时间信息的脉冲模式的脉冲网络行为的新方法。
Jun, 2016
本文阐述了训练脉冲神经网络时通常遇到的问题,并通过指导读者了解突触可塑性和数据驱动学习的关键概念,概述了现有方法并介绍了代理梯度方法,这是一种特别灵活和有效的克服上述挑战的方法。
Jan, 2019
该研究论文讨论深度脉冲神经网络的训练方法,比较有监督和无监督学习的准确性、计算成本和硬件友好性,发现深度脉冲神经网络在准确性方面仍落后于人工神经网络,但在许多任务中可以达到相同的准确性并需要更少的计算操作。
Apr, 2018
本研究提出了一种利用可微分脉冲神经网络模型的梯度下降方法,解决以往基于静态神经元的网络模型无法处理脉冲信号信息处理的问题。实验结果表明该方法可以优化脉冲神经网络的动态行为与行为时间的关系,并为基于脉冲信号的神经计算提供了通用的监督学习算法。
Jun, 2017
本文综述了基于直接学习的深度脉冲神经网络研究,重点讨论了提高准确性、提高效率和利用时间动态的方法,并进一步分类和总结。同时,展望了未来研究中可能面临的挑战和趋势。
May, 2023
提出了基于时间编码的多层脉冲神经网络(SNNs)的新的有监督学习规则,并演示了在多层全连接 SNNs 的 MNIST 数据集上实现了 97.4% 的测试准确性,使用的神经元模型比以前的工作要简单得多,源代码公开。
Oct, 2019
这篇论文总结了神经元模型的优点、缺点和适用性,分析了网络拓扑的特性,并从无监督学习和监督学习的角度回顾了脉冲神经网络算法和基于突触可塑性规则的无监督学习算法以及四类监督学习算法,最后专注于国内外正在研究的类脑神经仿真芯片的综述。通过系统的总结,论文旨在为初入脉冲神经网络研究领域的同行提供学习概念和研究方向。
Sep, 2023
本文提出利用短期可塑性为脉冲神经网络提供与非脉冲神经网络不同的计算优势,并使用节约的局部突触可塑性模拟温度相关技术来解决网络计算困难性问题。这些网络在处理生成任务时表现出出色性能,在任务不平衡的情况下,它们甚至可以胜过传统算法。
Sep, 2017
通过协同学习连接权重、神经元适应过程和突触传播延迟等生物灵感神经元特征,本文展示了脉冲神经网络 (SNN) 在数据处理方面的增强,进而在具有丰富时间动态的任务上表现出与等效人工神经网络 (ANN) 类似大小的最先进效果。
Sep, 2023
该文章讨论了 Spiking Neural Networks (SNNs) 的局限性,介绍了一种方法来解决这些问题使用无监督学习来快速发现输入数据中的稀疏可识别特征,使 SNNs 成为一种使用未标记数据进行快速、准确、高效、可解释和可重新部署的机器学习的新方法。
Aug, 2022