Jun, 2022

脉冲神经网络的突触阈值协同学习方法

PDF
TL;DR本文发展了一种新的 SNN 训练方法，即突触阈值协同学习 (Synapse-Threshold Synergistic Learning)，该方法同时训练 SNN 中的突触权重和阈值。研究结果表明，与仅使用突触学习或阈值学习的 SNN 相比，使用本文方法训练的 SNN 在各种静态和神经形态数据集上都具有明显更高的准确性，且可通过引入广义联合决策框架进一步提高性能。
spiking neural networkssynaptic plasticityspike thresholdssynergistic learningneural information processing
发现论文，激发创造
  • 一种基于对称 STDP 规则的脉冲神经网络生物学可行的监督学习方法

    本文提出了一种基于神经科学中对称性脉冲定时相关塑性规则的生物可行的 SNN 模型，该模型结合生物可行的突触缩放和动态阈值的内在可塑性来实现监督学习，并在标准识别任务中实现了良好的性能，其学习规则基于局部脉冲事件，因此可以轻松应用于神经形态硬件，有助于理解生物神经系统内部的监督学习信息处理机制。

    Dec, 2018

  • SNNs 中的集成可塑性和网络适应性

    介绍了一种新的基于熵和网络激活的集成学习方法，该方法与仅使用尖峰活动操作的尖峰率神经元修剪技术相结合，用于处理两个脑电图数据集进行分类实验，结果表明这种修剪低尖峰率神经元群集导致更好的泛化能力。

    Mar, 2022

  • 基于 STDP 的突触可塑性神经网络有监督学习算法

    本文提出了一种基于 Spike-Timing Dependent Plasticity (STDP) 的监督学习算法，用于基于 Leaky Integrate-and-fire (LIF) 神经元的分层 Spiking Neural Networks。该算法经 MNIST 数据集训练后，分类精度接近于使用标准反向传播算法训练的类似结构的多层感知器模型。

    Mar, 2022

  • 共同学习脉冲神经网络中的突触延迟、权重和自适应

    通过协同学习连接权重、神经元适应过程和突触传播延迟等生物灵感神经元特征，本文展示了脉冲神经网络 (SNN) 在数据处理方面的增强，进而在具有丰富时间动态的任务上表现出与等效人工神经网络 (ANN) 类似大小的最先进效果。

    Sep, 2023

  • MT-SNN：多阈值增强脉冲神经网络

    本文提出了一种多阈值（MT）方法，以缓解由二值激活带来的精度损失，从而使 SNNs 可以在更少的步骤达到更高的准确性，通过在 CIFAR10，CIFAR100 和 DVS-CIFAR10 上的评估，证明了 MT 可以广泛促进 SNNs，特别是在早期步骤中，例如，使用 MT，基于 Parametric-Leaky-Integrate-Fire（PLIF）的 VGG 网络甚至可以在 1 个步骤中胜过 ANN 对应物。

    Mar, 2023

  • 异质神经元和突触动力学实现高效率自主学习：理论与设计原则

    本文研究证明神经元和突触动态的异质性可以降低复杂神经网络的射击活动并提高预测性能，在无监督的学习中实现高效的射击，提高了神经网络的内存容量和分类预测性能。

    Feb, 2023

  • 利用神经元和突触滤波器动态特性在深度脉冲神经网络的时空学习中实现利用

    提出一种训练算法，将 SNN 作为无限脉冲响应（IIR）滤波器的网络，以学习 SNN 的时空模式，并构建用于合成和公共数据集的联想记忆和分类器，其准确度优于最先进的方法。

    Feb, 2020

  • 具有无监督学习的全脉冲记忆电阻网络

    本研究基于 memristive neuron 和 memristive synapse 提出了一个完全基于 memristor 的脉冲神经网络 (MSNN)，并采用无监督的 Spiking Time Dependent Plasticity (STDP) 学习规则。我们通过电路模拟验证了 MSNN 的学习效果，并实现了两种类型的 MSNN 结构：一种是生物学合理的记忆检索系统，另一种是用于多类别分类。

    Mar, 2022

  • 配对竞争神经元：改进突触时序依赖规则（STDP）监督本地学习在脉冲神经网络中的应用

    通过将监督性 Spike Timing-Dependent Plasticity（STDP）与自监督 STDP 相结合，并引入 Paired Competing Neurons（PCN）训练架构，我们提出了一种能在神经形态硬件上进行分类任务训练的 Spiking Neural Networks（SNNs）方法，其方法在 MNIST、Fashion-MNIST 和 CIFAR-10 数据集上表现出比现有的基于 STDP 的方法更优越的性能，同时具备改进的超参数鲁棒性。

    Aug, 2023

  • 深度脉冲神经网络模式识别的渐进串联学习

    本文提出了一种称为渐进串联深度 SNN 的 ANN 到 SNN 的转换和分层学习框架，该框架利用脉冲计数以逼近模拟神经元的激活值，以及一种适应性训练调度器细化网络权重，其在大规模物体识别、图像重建和语音分离任务中能够展示出出色的分类和回归能力，同时需要的推理时间和突触操作比其他最先进的 SNN 实现少了至少一个数量级，因此它为功率有限的移动和嵌入式设备提供了无数机会。

    Jul, 2020