May, 2024

EchoSpike 预测可塑性：一种用于脉冲神经网络的在线本地学习规则

PDF
TL;DR通过引入「EchoSpike Predictive Plasticity」（ESPP）学习规则，本文在多层 SNN 中探索在线本地学习的自监督学习应用，展示其与当前最先进的有监督学习规则相媲美的效果，从而为边缘神经形态计算开发出具有生物可行性的自监督学习模型，为低成本的神经形态处理器提供时空局部性突出的解决方法。
artificial neural networksspiking neural networksonline local learningechospike predictive plasticityself-supervised learning
发现论文，激发创造
  • SNNs 中的集成可塑性和网络适应性

    介绍了一种新的基于熵和网络激活的集成学习方法，该方法与仅使用尖峰活动操作的尖峰率神经元修剪技术相结合，用于处理两个脑电图数据集进行分类实验，结果表明这种修剪低尖峰率神经元群集导致更好的泛化能力。

    Mar, 2022

  • 基于前向时间轴的神经形态学在线学习空时模式

    针对脉冲神经网络的在线学习问题，本研究提出了适用于在线学习的神经突触自适应空时学习算法（SOLSA）。相比传统的通过时间反向传播（BPTT）算法，SOLSA 在内存需求上更低，具有更平衡的时间工作负载分配，并且通过调度权重更新、提前停止训练和自适应突触滤波等增强技术，提高了收敛速度和学习性能。与其他非 BPTT 基于的脉冲神经网络学习方法相比，SOLSA 在平均学习准确度上表现出 14.2% 的提升。此外，SOLSA 相比于 BPTT，在平均学习准确度提高了 5% 的同时，内存成本减少了 72%。

    Jul, 2023

  • 使用脉冲神经网络演化学习强化学习任务

    本研究基于大自然神经系统的启发，应用突触可塑性规则训练带有局部信息的脉冲神经网络，使其适用于神经形态硬件的在线学习。其目的在于通过应用进化算法，使得各种不同任务的学习过程变得更加简单，通过提供一组各种局部信号、数学算子和全局奖励信号来找到最佳学习规则，我们发现通过这种方法可以成功解决 XOR 和车杆任务，并发现新的学习规则优于文献中的基准规则。

    Feb, 2022

  • 一种基于对称 STDP 规则的脉冲神经网络生物学可行的监督学习方法

    本文提出了一种基于神经科学中对称性脉冲定时相关塑性规则的生物可行的 SNN 模型，该模型结合生物可行的突触缩放和动态阈值的内在可塑性来实现监督学习，并在标准识别任务中实现了良好的性能，其学习规则基于局部脉冲事件，因此可以轻松应用于神经形态硬件，有助于理解生物神经系统内部的监督学习信息处理机制。

    Dec, 2018

  • BP-STDP: 使用时序相关可塑性近似反向传播

    本文提出一种基于事件驱动的脉冲时序依赖可塑性 (Spike-Timing-Dependent Plasticity, STDP) 规则的监督学习方法，可以在保持计算精度的同时提高计算效率，特别适用于脉冲神经网络 (Spiking Neural Networks, SNNs)。实验结果表明，该方法可以较好地处理 XOR 问题、鸢尾花数据以及 MNIST 数据集，表现与传统神经网络相当，甚至比目前最先进的多层 SNNs 效果更好。

    Nov, 2017

  • 脉冲神经网络中的传播延迟学习

    本文探索了一种新的局部学习规则，该规则适用于脉冲神经网络，其中脉冲传播时间会发生经验依存性的可塑性更改，通过实现分类精度的提高和记忆能力的扩展，证明了该方法的潜力。

    Oct, 2022

  • S-TLLR: 基于 STDP 的脉冲神经网络时间局部学习规则

    提出了一种新的三因素时间局部学习规则 S-TLLR，该规则考虑了神经元之间的因果和非因果关系，可以在边缘设备上进行在线学习，并在图像和手势识别、音频分类和光流估计等应用中取得了高精度和计算复杂度降低的结果。

    Jun, 2023

  • 基于云边框架的能效事件驱动控制：在线监督学习、脉冲神经网络和本地可塑性规则的集成

    提出了一种新的云边框架解决复杂控制系统中的计算和能源限制问题，采用了基于脉冲神经网络 (SNN) 的学习型控制器在物理设备上实施。通过将生物学合理的学习方法与本地可塑性规则结合，我们利用 SNN 的高效性、可扩展性和低延迟，在设备上直接复制云端控制器的控制信号，减少了对常量植物 - 云通信的需求。植物仅在错误超过预定义阈值时更新权重，确保在各种条件下的效率和鲁棒性。在线性工作台系统和卫星交会等场景中（包括避障），我们的架构通过增加网络规模将归一化跟踪误差显著降低了 96%。由于 SNN 的事件驱动特性，其能源消耗最小，仅约为标准计算需求的 111 nJ（0.3%）。结果展示了系统对不断变化的工作环境的调整以及对计算和能源资源的高效利用，与非障碍场景相比，静态和动态障碍物的能源消耗分别增加了 27.2% 和 37%。

    Apr, 2024

  • 脉冲神经网络实现生物学上可行的序列学习

    提出了一种新的持续时间模型 ——McCulloch-Pitts 网络 (MPN)， 用于序列学习，在棘突神经网络中，可以利用突触之间的不对称连接进行训练，能够稳健地记忆多个时空模式、二进制图片序列和实验神经脉冲数据的产生模型，并具有生物启发式的设计理念。

    Nov, 2019

  • 基于脑启发式脉冲神经网络的在线无监督时间序列预测

    该论文提出了一种基于连续学习无监督回路尖峰神经网络模型（CLURSNN）的在线时间序列预测方法，利用其测量具有最高度数中心性的 RSNN 中神经元的膜电位来重构底层动态系统，并且通过拓扑数据分析，提出了一种新的利用 Wasserstein 距离作为损失函数的方法，该方法在预测演变中的 Lorenz63 动态系统方面优于现有的 DNN 模型。

    Apr, 2023