脉冲神经网络与在线学习:概述与展望
这篇论文总结了神经元模型的优点、缺点和适用性,分析了网络拓扑的特性,并从无监督学习和监督学习的角度回顾了脉冲神经网络算法和基于突触可塑性规则的无监督学习算法以及四类监督学习算法,最后专注于国内外正在研究的类脑神经仿真芯片的综述。通过系统的总结,论文旨在为初入脉冲神经网络研究领域的同行提供学习概念和研究方向。
Sep, 2023
本文从认知神经科学方面入手,分析了 Spiking Neural Networks 这种新型生物神经样本学习 / 数据处理模型在模型、训练算法上面的优点和缺点,其中使用了概率模型和时间反向传播算法解决了部分难点,最后在神经元数据集上进行了对比实验.
Oct, 2020
该文章讨论了 Spiking Neural Networks (SNNs) 的局限性,介绍了一种方法来解决这些问题使用无监督学习来快速发现输入数据中的稀疏可识别特征,使 SNNs 成为一种使用未标记数据进行快速、准确、高效、可解释和可重新部署的机器学习的新方法。
Aug, 2022
本文阐述了训练脉冲神经网络时通常遇到的问题,并通过指导读者了解突触可塑性和数据驱动学习的关键概念,概述了现有方法并介绍了代理梯度方法,这是一种特别灵活和有效的克服上述挑战的方法。
Jan, 2019
该研究论文讨论深度脉冲神经网络的训练方法,比较有监督和无监督学习的准确性、计算成本和硬件友好性,发现深度脉冲神经网络在准确性方面仍落后于人工神经网络,但在许多任务中可以达到相同的准确性并需要更少的计算操作。
Apr, 2018
介绍一种名为 SpikeNet 的可扩展框架,它旨在使用脉冲神经网络(SNNs)而非循环神经网络(RNNs)来捕获时变图的时变和结构模式,SpikeNet 在计算成本更低的情况下在时态节点分类任务上超过了强基线,并具有更少的计算负担。
Aug, 2022
神经形态计算及尤其是脉冲神经网络 (SNNs) 作为深度神经网络的一种有吸引力的替代方法,已广泛应用于处理来自不同感觉模态的静态和 / 或时间输入的信号处理应用。本文从算法和优化创新的最新进展开始,旨在高效训练和扩展低延迟、能源高效的复杂机器学习应用中的脉冲神经网络 (SNNs)。然后,我们讨论了算法 - 架构共设计方面的最新研究成果,探索在实现高能效和低延迟的同时仍提供高准确性和可信性之间的固有权衡。然后,我们描述了为有效利用这种算法创新而开发的基础硬件。尤其是,我们描述了一种混合方法,即在内存组件和传感器本身中整合模型计算的重要部分。最后,我们讨论了构建可部署 SNN 系统的研究前景,重点是算法 - 硬件 - 应用共设计领域的关键挑战,强调了可信性。
Dec, 2023
通过介绍一种能够在脉冲网络上进行反向传播的算法,我们表明,在脉冲多层感知机(MLP)长时间运行的极限情况下,该网络在预测和训练期间的行为与带有修正线性单元的传统深度网络行为完全相同。我们将此架构应用于传统分类问题(MNIST),并实现了与具有相同架构的传统 MLP 非常接近的性能。此网络对于基于流事件数据的学习具有自然架构,是使用脉冲神经网络高效学习流式数据的基石。
Feb, 2016
本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络,将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平,并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级,从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。
Mar, 2021