异质神经元和突触动力学实现高效率自主学习:理论与设计原则
本文提出了一种具有异构性的回归尖峰神经网络(HRSNN),用于 RGB 和事件数据集(DVS128 手势)上的时空分类视频活动识别任务的非监督学习。 HRSNN 的关键创新点是具有具有不同发射 / 松弛动力学的异构神经元的回归层,它们通过具有不同学习动力学的异构尖峰依赖可塑性(STDP)训练。 我们证明了这种新颖方法在架构和学习方法上的组合优于当前同质性尖峰神经网络,进一步表明 HRSNN 可以实现与现有的基于后向传播训练的监督式 SNN 相似的性能,但使用更少的计算和更少的训练数据。
Sep, 2022
通过引入新颖的 Lyapunov Noise Pruning (LNP) 算法和利用各类散度来设计一个稳定的、计算效率高的、适用于不同任务的稀疏的异质 RSNN 模型,本文展示了相对于传统的基于活性剪枝的方法,该任务无关的方法可以增加 RSNN 的计算效率和预测性能。
Mar, 2024
该论文介绍了一种使用 RTD(Representation Topology Divergence)比较 Recurrent SNN 模型之间分布式表示差异的新方法,探究了使用 STDP 训练的 RSNN 的学习能力以及异质性在突触动力学学习中的作用。
Mar, 2024
介绍了一种新的基于熵和网络激活的集成学习方法,该方法与仅使用尖峰活动操作的尖峰率神经元修剪技术相结合,用于处理两个脑电图数据集进行分类实验,结果表明这种修剪低尖峰率神经元群集导致更好的泛化能力。
Mar, 2022
本文发展了一种新的 SNN 训练方法,即突触阈值协同学习 (Synapse-Threshold Synergistic Learning),该方法同时训练 SNN 中的突触权重和阈值。研究结果表明,与仅使用突触学习或阈值学习的 SNN 相比,使用本文方法训练的 SNN 在各种静态和神经形态数据集上都具有明显更高的准确性,且可通过引入广义联合决策框架进一步提高性能。
Jun, 2022
本研究基于 memristive neuron 和 memristive synapse 提出了一个完全基于 memristor 的脉冲神经网络 (MSNN),并采用无监督的 Spiking Time Dependent Plasticity (STDP) 学习规则。我们通过电路模拟验证了 MSNN 的学习效果,并实现了两种类型的 MSNN 结构:一种是生物学合理的记忆检索系统,另一种是用于多类别分类。
Mar, 2022
本文提出了一种基于 Spike-Timing Dependent Plasticity (STDP) 的监督学习算法,用于基于 Leaky Integrate-and-fire (LIF) 神经元的分层 Spiking Neural Networks。该算法经 MNIST 数据集训练后,分类精度接近于使用标准反向传播算法训练的类似结构的多层感知器模型。
Mar, 2022
研究了如何通过深度学习将适应性神经元包含在递归脉冲神经元网络(RSNNs)中,从而优化网络结构,实现知识迁移和在少数示例中进行学习、手段是 BPTT 算法。
Mar, 2018
通过协同学习连接权重、神经元适应过程和突触传播延迟等生物灵感神经元特征,本文展示了脉冲神经网络 (SNN) 在数据处理方面的增强,进而在具有丰富时间动态的任务上表现出与等效人工神经网络 (ANN) 类似大小的最先进效果。
Sep, 2023
本文提出了一种基于神经科学中对称性脉冲定时相关塑性规则的生物可行的 SNN 模型,该模型结合生物可行的突触缩放和动态阈值的内在可塑性来实现监督学习,并在标准识别任务中实现了良好的性能,其学习规则基于局部脉冲事件,因此可以轻松应用于神经形态硬件,有助于理解生物神经系统内部的监督学习信息处理机制。
Dec, 2018