作为正则化器的尖峰
本研究基于神经脉冲网络中的超级脉冲非线性电压三因素学习规则,探究了不同信用分配策略对多层神经网络的表现,可促进神经脉冲网络的学习和计算方式的理解。
May, 2017
提出一种基于脉冲的非监督递归学习方案,用于使用生物学上可信的漏积分放电神经元训练 Spiking Deep Networks (SpikeCNN) 进行目标识别问题。训练方法基于自编码器学习模型,其中分层网络使用编码器 - 解码器原理逐层训练。递归学习使用脉冲时序信息和固有延迟以无监督方式更新权重并学习每个卷积层的代表水平。从层次结构中学到的特征然后馈送到一个输出层。所提议的方法在 MNIST/CIFAR10 数据集上产生了与现有技术水平相当的分类错误率,并通过基于事件的编码引入稀疏性来提高计算效率。
Feb, 2016
通过介绍一种能够在脉冲网络上进行反向传播的算法,我们表明,在脉冲多层感知机(MLP)长时间运行的极限情况下,该网络在预测和训练期间的行为与带有修正线性单元的传统深度网络行为完全相同。我们将此架构应用于传统分类问题(MNIST),并实现了与具有相同架构的传统 MLP 非常接近的性能。此网络对于基于流事件数据的学习具有自然架构,是使用脉冲神经网络高效学习流式数据的基石。
Feb, 2016
我们研究了与尖峰神经网络相关的学习问题,具体来说,我们考虑具有仿射时间编码器和解码器以及仅具有正向突触权重的简单尖峰神经元的尖峰神经网络的假设集。我们证明了正权重尖峰神经网络的广泛表达性结果,包括对平滑函数的速率最优逼近或无维度诅咒的逼近。此外,正权重尖峰神经网络被证明在其参数上连续依赖,这有助于传统的基于覆盖数量的泛化语句。最后,我们观察到,从泛化的角度来看,与前馈神经网络或以前的针对通用尖峰神经网络的结果相反,深度对泛化能力几乎没有不利影响。
Apr, 2024
提出了一种新的机器学习理论,定义了数学上的规律性,通过结合信息理论,将规律性看作大量信息中编码的少量信息,并讨论了将多个脉冲函数应用于相同数据分布的过程,并提出了一种机器学习方法,可以在实践中获得给定数据集的最佳脉冲函数。
May, 2024
本研究证明了在采用了时间编码方案的前馈脉冲网络中,网络输入 - 输出关系在几乎任何地方都是可微的,并且在变量转换后这种关系是分段线性的。此外,我们展示了通过该方法对项独立 MNIST 任务进行训练的结果,从而证明了训练人工神经网络的方法可以直接应用于训练这种脉冲网络。与基于速率的脉冲网络不同的是,我们所提出的网络的脉冲更为稀疏,且其行为不能直接由传统的人工神经网络来近似。这些结果强调了控制具有复杂时间信息的脉冲模式的脉冲网络行为的新方法。
Jun, 2016
提出了一种自适应和自组织的在线脉冲排序算法,名为 Ada-SpikeDeep 分类器,它使用 SpikeDeeptector 进行通道选择,自适应背景事件拒绝器(Ada-BAR)用于丢弃背景事件,并自适应脉冲分类器(Ada-Spike 分类器)用于对不同神经元的 SA 进行分类。该算法是第一个能够自动学习噪声和 SA 分布突变的脉冲排序算法,适合使用人工神经网络实现的硬件,在可穿戴侵入性 BCIs 上得到应用。
Mar, 2023
向类似人脑的高能效人工智能迈进,生物启发的脉冲神经网络(SNN)具有生物合理性、事件驱动的稀疏性和二值激活的优势。本文提出了首个全脉冲机制,以处理包括鉴别性和生成性任务在内的一般性语言任务。与现有 SNN 中的二值脉冲不同,我们提出了一种具有双向、弹性幅度和弹性频率编码的更一般的脉冲形式,同时仍然保持了 SNN 的加法性质。在单个时间步内,脉冲通过方向和幅度信息增强;在脉冲频率方面,我们设计了一种控制脉冲发射率的策略。我们将这种弹性双脉冲机制应用于语言建模,命名为 SpikeLM。这是首次使用全脉冲驱动模型处理一般性语言任务,其准确性远高于以前可能的水平。SpikeLM 还极大地弥合了 SNN 和 ANN 在语言建模方面的性能差距。我们的代码可在此网址上获得:https:// 此 URL。
Jun, 2024
在 Spiking Neural Networks (SNNs)训练的时间域梯度计算中,独立研究了两种方法:一种是计算与峰值激活变化相关的梯度(激活方法),另一种是计算与峰值时序变化相关的梯度(时序方法)。我们提出了一种将两种方法结合的新的监督式学习方法。实验结果表明,该方法在准确性和效率方面都比先前的方法表现更好。
Jun, 2020