在递归脉冲神经网络中通过稳定的局部学习预测非线性动态
使用局部稳定性分析的数学框架,我们研究了前馈神经网络学习动力学的深层理解,推导了三层神经网络在学习回归任务时的切线算子方程,结果适用于任意节点数和任意激活函数的选择。我们通过数值方法应用这些结果于网络学习回归任务中,调查了稳定性指标与最终训练损失之间的关系。虽然具体结果会因初始条件和激活函数的不同而有所变化,我们证明了通过监测训练过程中的有限时间 Lyapunov 指数或协变 Lyapunov 向量,可以预测最终的训练损失。
Apr, 2024
本研究使用元学习发现网络如何利用反馈机制和本地、仿生学习规则,以进行在线信用分配,并超越了现有的基于梯度的算法在回归和分类任务方面的性能,特别是在持续学习方面表现优异,结果表明存在一类生物可行的学习机制,不仅匹配梯度下降,而且还克服了其局限性。
Jun, 2020
本文探索了一种新的局部学习规则,该规则适用于脉冲神经网络,其中脉冲传播时间会发生经验依存性的可塑性更改,通过实现分类精度的提高和记忆能力的扩展,证明了该方法的潜力。
Oct, 2022
这篇论文提出了一种受到神经科学和自监督深度学习最新进展启发的学习规则,使用局部,赫布规则进行权重更新,并具有深度分层的图像、语音和视频表示。
Oct, 2020
本研究基于大自然神经系统的启发,应用突触可塑性规则训练带有局部信息的脉冲神经网络,使其适用于神经形态硬件的在线学习。其目的在于通过应用进化算法,使得各种不同任务的学习过程变得更加简单,通过提供一组各种局部信号、数学算子和全局奖励信号来找到最佳学习规则,我们发现通过这种方法可以成功解决 XOR 和车杆任务,并发现新的学习规则优于文献中的基准规则。
Feb, 2022
通过引入「EchoSpike Predictive Plasticity」(ESPP)学习规则,本文在多层 SNN 中探索在线本地学习的自监督学习应用,展示其与当前最先进的有监督学习规则相媲美的效果,从而为边缘神经形态计算开发出具有生物可行性的自监督学习模型,为低成本的神经形态处理器提供时空局部性突出的解决方法。
May, 2024
本研究基于神经脉冲网络中的超级脉冲非线性电压三因素学习规则,探究了不同信用分配策略对多层神经网络的表现,可促进神经脉冲网络的学习和计算方式的理解。
May, 2017
针对脉冲神经网络的在线学习问题,本研究提出了适用于在线学习的神经突触自适应空时学习算法(SOLSA)。相比传统的通过时间反向传播(BPTT)算法,SOLSA 在内存需求上更低,具有更平衡的时间工作负载分配,并且通过调度权重更新、提前停止训练和自适应突触滤波等增强技术,提高了收敛速度和学习性能。与其他非 BPTT 基于的脉冲神经网络学习方法相比,SOLSA 在平均学习准确度上表现出 14.2% 的提升。此外,SOLSA 相比于 BPTT,在平均学习准确度提高了 5% 的同时,内存成本减少了 72%。
Jul, 2023
本文介绍一种名为 FORCE 的机器学习技术,用于训练类似于动态系统、输入分类和存储离散序列的脉冲神经网络,通过该方法可以生物学地模拟斑马雀和海马的神经回路的行为,产生比传统技术更复杂的神经网络行为以及与药理学因素相关的行为响应和神经兴奋的时间统计信息。
Sep, 2016
本研究提出一种监督式训练程序,运用递归最小二乘法的 FORCE 算法来拟合每层过程的目标,以控制反馈回路,促进 RSNNs 神经元网络动力系统的训练,提高其性能和抗噪性并使用 TTFS 编码来进行能效硬件实现。
May, 2022