带有赫比塞义可塑性的尖峰神经网络用于无监督表征学习

May, 2023

带有赫比塞义可塑性的尖峰神经网络用于无监督表征学习

Spiking neural networks with Hebbian plasticity for unsupervised representation learning

Naresh Ravichandran, Anders Lansner, Pawel Herman

TL;DR介绍了一种新颖的脉冲神经网络模型，用于从数据中学习分布式内部表示，通过将之前已被证明可以执行表示学习的非脉冲前馈贝叶斯置信传播神经网络（BCPNN）模型转换为脉冲神经网络，并采用基于在线相关性的 Hebbian-Bayesian 学习和重连机制，呈现出在生物皮层锥体神经元中与 in vitro 低发射率相当的 Poisson 统计量。我们使用线性分类器评估了我们的脉冲模型学习的表示，并展示了与非脉冲 BCPNN 接近，以及当对 MNIST 和 F-MNIST 机器学习基准进行训练时，与其他基于 Hebbian 的脉冲网络竞争力相当。

Abstract

We introduce a novel spiking neural network model for learning distributed internal representations from data in an unsupervised procedure. We achieved this by transforming the non-spiking feedforward Bayesian Confidence Propagation Neural Network (BCPNN) model, employing an online cor

spiking neural network unsupervised learning hebbian-bayesian learning representation learning machine learning

发现论文，激发创造

基于海布学习的正交投影，用于脉冲神经网络的持续学习

基于侧向连接和赫比学习的神经操作提供对脑回路的新见解，并展示了如何在神经系统中实现正交投影，由此解决了关于神经形态计算的遗忘问题。

Feb, 2024

使用生物合理奖励传播调整卷积脉冲神经网络

该论文提出一种基于奖励传播的算法，该算法应用于脉冲神经网络（SNN）架构中的脉冲卷积和全连接层，该算法能够替代标准反向传播算法，实现对 SNN 的训练。使用该算法的 SNN 在空间和时间任务上的表现已经得到验证，达到了 BP-SNN 的类似准确度并节省了 50％的计算成本。

Oct, 2020

用于高性能脉冲神经网络训练的时空反向传播

通过结合空间域（SD）和时间相关的时域（TD），并提出了一种适合于梯度下降训练的迭代 LIF 模型，以及脉冲活动的近似导数，本文提出了一种新的时空反向传播（STBP）训练框架，它能够使多层感知器 (MLP) 在静态 MNIST 和动态 N-MNIST 数据集以及自定义对象检测数据集上获得比现有状态 - of-the-art 算法更好的性能。该框架为未来的类脑计算范式探索高性能脉冲神经网络提供了新的视角。

Jun, 2017

使用逐层稀疏编码和 STDP 学习的生物启发型脉冲卷积神经网络

本文探讨了一种新颖的生物启发式脉冲卷积神经网络，该网络以贪心的分层方式进行训练，将由脉冲卷积 - 池化层和提取独立视觉特征的特征发现层组成，使用局部学习训练卷积层内的卷积核并利用概率性、泄漏整流集成火 (LIF) 神经元从输入刺激中提取独立特征。实验结果表明，该模型能够轻松进行多层次学习，并且具有噪声鲁棒性。

Nov, 2016

为训练深度神经网络架构实现基于脉冲的反向传播

通过引入近似导数方法和基于脉冲的反向传播方法，本文提出一种可以直接训练深度脉冲神经网络的方法，实验结果表明，该方法在 MNIST、SVHN 和 CIFAR-10 数据集上取得了比其他基于脉冲的神经网络更好的分类效果。

Mar, 2019

SNNs 中的集成可塑性和网络适应性

介绍了一种新的基于熵和网络激活的集成学习方法，该方法与仅使用尖峰活动操作的尖峰率神经元修剪技术相结合，用于处理两个脑电图数据集进行分类实验，结果表明这种修剪低尖峰率神经元群集导致更好的泛化能力。

Mar, 2022

短期突触可塑性脉冲神经元形成更优秀的生成网络

本文提出利用短期可塑性为脉冲神经网络提供与非脉冲神经网络不同的计算优势，并使用节约的局部突触可塑性模拟温度相关技术来解决网络计算困难性问题。这些网络在处理生成任务时表现出出色性能，在任务不平衡的情况下，它们甚至可以胜过传统算法。

Sep, 2017

SuperSpike: 多层脉冲神经网络中的监督学习

本研究基于神经脉冲网络中的超级脉冲非线性电压三因素学习规则，探究了不同信用分配策略对多层神经网络的表现，可促进神经脉冲网络的学习和计算方式的理解。

May, 2017

BP-STDP: 使用时序相关可塑性近似反向传播

本文提出一种基于事件驱动的脉冲时序依赖可塑性 (Spike-Timing-Dependent Plasticity, STDP) 规则的监督学习方法，可以在保持计算精度的同时提高计算效率，特别适用于脉冲神经网络 (Spiking Neural Networks, SNNs)。实验结果表明，该方法可以较好地处理 XOR 问题、鸢尾花数据以及 MNIST 数据集，表现与传统神经网络相当，甚至比目前最先进的多层 SNNs 效果更好。

Nov, 2017

具有无监督学习的全脉冲记忆电阻网络

本研究基于 memristive neuron 和 memristive synapse 提出了一个完全基于 memristor 的脉冲神经网络 (MSNN)，并采用无监督的 Spiking Time Dependent Plasticity (STDP) 学习规则。我们通过电路模拟验证了 MSNN 的学习效果，并实现了两种类型的 MSNN 结构：一种是生物学合理的记忆检索系统，另一种是用于多类别分类。

Mar, 2022