通过本地节律稀疏脉冲网络
本研究发现通过距离依赖性连接概率,可以克服兴奋性和抑制性尖峰神经元随机连接网络在进行计算时的不可靠性。在此基础上建立的空间扩展尖峰神经元网络可以展现出对称性破缺分岔现象,并能生成可进行动力学计算的时空模式。
Nov, 2016
本文探索了一种新的局部学习规则,该规则适用于脉冲神经网络,其中脉冲传播时间会发生经验依存性的可塑性更改,通过实现分类精度的提高和记忆能力的扩展,证明了该方法的潜力。
Oct, 2022
本文中,我们尝试一种对称方法:我们通过修改一种易于训练的循环神经网络的动力学来使其基于事件。这种新型 RNN 单元,称为 Spiking Recurrent Cell,因此使用事件即 spike 进行通信,同时可完全区分化。因此,可以使用基本反向传播来训练任何由该 RNN 单元组成的网络。我们展示了这种新的网络在 MNIST 基准测试及其变体 Fashion-MNIST 和 Neuromorphic-MNIST 中可以达到与其他类型的脉冲网络可比较的性能,并且这个新单元使得深度脉冲网络的训练成为可能。
Jun, 2023
本文提出利用短期可塑性为脉冲神经网络提供与非脉冲神经网络不同的计算优势,并使用节约的局部突触可塑性模拟温度相关技术来解决网络计算困难性问题。这些网络在处理生成任务时表现出出色性能,在任务不平衡的情况下,它们甚至可以胜过传统算法。
Sep, 2017
训练在自然图像上的稀疏编码算法能够准确预测视觉皮层神经元所激发的特征,但不确定是否可以使用生物学真实的可塑性规则来学习这些代码。我们开发了一种生物物理模型的尖峰网络,仅依靠突触局部信息就能预测自然图像上 V1 简单细胞感受野的全部多样性形状,这是首次证明,稀疏编码原则在皮层结构限制下操作时可以成功地再现这些感受野。我们进一步证明,稀疏性和去相关是允许突触局部可塑性规则优化神经表达形成的合作线性生成图像模型的关键因素。最后,我们讨论了我们的网络的几个有趣的新兴属性,以期弥合视觉皮层的理论和实验研究之间的差距。
Sep, 2011
该研究提出了一种基于神经元零阶技术的新型算法来克服反向传播过程中的梯度信息丢失和非可微的问题,并在 GPU 上实现了 SNN 的能量高效训练,相对于现有的能量高效技术具有更好的泛化性能和相似的效率。
Feb, 2023
Spiking Neural Networks (SNNs) achieve performance comparable to Artificial Neural Networks (ANNs) in machine learning tasks, with processing done through spikes in an event-based mechanism that reduces energy consumption. However, training SNNs is challenging due to the non-differentiable spiking mechanism, and alternative learning methods with varying degrees of locality have been proposed. This research explores the training process similarities, the influence of explicit recurrence, and the performance of local learning methods under adversarial attacks.
Feb, 2024
本文提出了一种具有生物特征的尖峰神经网络模型,采用相对时间编码方案,使用 BPROP 算法进行监督式训练,并在 MNIST 数据集等分类任务中成功地训练了网络,结果表明该网络具有编码单个神经元时间信息的高计算能力,在视觉决策任务中取得了与人类决策类似的准确性 - 速度的平衡,为实现更复杂的具有生物启示的神经网络架构提供了有效的构建块。
Jul, 2019
本文介绍了一种训练脉冲神经网络的方法,通过结合使用连续模型网络和脉冲模型神经元,使其能够自主产生动态模式,并模拟生理数据,这提供了一种新的方法用于训练脉冲神经网络,并探讨了神经系统中表示和计算的重要问题。
Jan, 2016