基于脉冲神经网络的贝叶斯连续学习
神经形态计算及尤其是脉冲神经网络 (SNNs) 作为深度神经网络的一种有吸引力的替代方法,已广泛应用于处理来自不同感觉模态的静态和 / 或时间输入的信号处理应用。本文从算法和优化创新的最新进展开始,旨在高效训练和扩展低延迟、能源高效的复杂机器学习应用中的脉冲神经网络 (SNNs)。然后,我们讨论了算法 - 架构共设计方面的最新研究成果,探索在实现高能效和低延迟的同时仍提供高准确性和可信性之间的固有权衡。然后,我们描述了为有效利用这种算法创新而开发的基础硬件。尤其是,我们描述了一种混合方法,即在内存组件和传感器本身中整合模型计算的重要部分。最后,我们讨论了构建可部署 SNN 系统的研究前景,重点是算法 - 硬件 - 应用共设计领域的关键挑战,强调了可信性。
Dec, 2023
使用生物学原理进入机器学习模型,我们开发了一种轻量级神经网络结构,通过突触可塑性机制和神经调制,通过本地错误信号进行在线继续学习,从而改善了传统方法的稳定性和记忆限制,在 Split-MNIST,Split-CIFAR-10 和 Split-CIFAR-100 数据集上表现出更好的在线继续学习性能,并在基于回放的方法上达到最先进的记忆密集型方法的性能水平,进一步通过将关键设计概念整合到其他反向传播的继续学习算法中,显著提高了它们的准确性。
Aug, 2023
基于大脑启发的自适应神经路径重组的持续学习算法,在增量任务中通过自组织调控网络资源以有效应对多样化的认知任务,表现出卓越的性能、能量消耗和内存容量。具备学习更复杂任务、整合过去学习知识以及自我修复能力的特点。
Sep, 2023
本文提出了基于不确定性引导的连续贝叶斯神经网络(UCB)来解决连续学习中的分类问题,从而避免灾难性遗忘。我们在不同的物体分类数据集上评估了 UCB 方法的性能,并报告了优秀的性能表现。
Jun, 2019
通过协同学习连接权重、神经元适应过程和突触传播延迟等生物灵感神经元特征,本文展示了脉冲神经网络 (SNN) 在数据处理方面的增强,进而在具有丰富时间动态的任务上表现出与等效人工神经网络 (ANN) 类似大小的最先进效果。
Sep, 2023
针对脉冲神经网络的在线学习问题,本研究提出了适用于在线学习的神经突触自适应空时学习算法(SOLSA)。相比传统的通过时间反向传播(BPTT)算法,SOLSA 在内存需求上更低,具有更平衡的时间工作负载分配,并且通过调度权重更新、提前停止训练和自适应突触滤波等增强技术,提高了收敛速度和学习性能。与其他非 BPTT 基于的脉冲神经网络学习方法相比,SOLSA 在平均学习准确度上表现出 14.2% 的提升。此外,SOLSA 相比于 BPTT,在平均学习准确度提高了 5% 的同时,内存成本减少了 72%。
Jul, 2023
我们介绍了一种轻量级和硬件友好的量化 SNN(Q-SNN),该方法对突触权重和膜电位进行量化,显著减少内存使用和计算复杂性,提出了一种受信息熵理论启发的新的权重 - 脉冲双重调节(WS-DR)方法,实验证明我们的 Q-SNN 在模型大小和准确性方面优于现有方法,这些在效率和功效方面的最新成果表明该方法可以显着改善边缘智能计算。
Jun, 2024
本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络,将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平,并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级,从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。
Mar, 2021