Nov, 2013

面向脉冲神经形态系统的事件驱动对比散度

PDF
TL;DR通过神经抽样实现基于脉冲神经元和 STDP 联合训练的漏电 I&F 受限玻尔兹曼机，并在 MNIST 数据集上进行测试，旨在推进用于合成实用的高级功能的脉冲神经元网络的机器学习驱动方法。
restricted boltzmann machinesspiking neural networkintegrate & fire neuronsspike time dependent plasticitymnist dataset
发现论文，激发创造
  • 神经形态计算 deep learning 机器

    本篇论文介绍了一种名为 Event-Driven Random BP (eRBP) 规则的神经形态计算方法，可用于学习深度表示，其具有在神经形态硬件中实现的优势，并且与 GPU 上的人工神经网络模拟相比，分类准确性相近且在学习过程中鲁棒性较强。

    Dec, 2016

  • BP-STDP: 使用时序相关可塑性近似反向传播

    本文提出一种基于事件驱动的脉冲时序依赖可塑性 (Spike-Timing-Dependent Plasticity, STDP) 规则的监督学习方法，可以在保持计算精度的同时提高计算效率，特别适用于脉冲神经网络 (Spiking Neural Networks, SNNs)。实验结果表明，该方法可以较好地处理 XOR 问题、鸢尾花数据以及 MNIST 数据集，表现与传统神经网络相当，甚至比目前最先进的多层 SNNs 效果更好。

    Nov, 2017

  • 通过尖锐时间依赖可塑性学习二进制或实值时间序列

    本文提出了一种动态玻尔兹曼机作为脉冲神经网络的模型，通过放松一些约束条件使其更适合计算和学习，并且将其学习过程视为二值时间序列的逻辑回归或高斯玻尔兹曼机，结果表明高斯玻尔兹曼机能够通过使用额外的解释变量来捕捉时间序列的长期依赖性并显著提高预测准确性。

    Dec, 2016

  • 基于事件驱动的脉冲神经网络学习

    通过两种新型事件驱动学习方法（STD-ED 和 MPD-ED），本研究在静态和神经形态数据集上进行了广泛评估，证实它们在 CIFAR-100 数据集上分别超过现有事件驱动算法 2.51% 和 6.79%。此外，本研究理论上和实验上验证了这些方法在神经形态硬件上的能量效率，其芯片内学习实验在时间步长代理梯度方法上实现了显著的 30 倍能量消耗减少。所提出的事件驱动学习方法的效率和功效强调了它们在神经形态计算领域中的潜力，为能源效率应用提供了有前景的途径。

    Mar, 2024

  • 利用混合转换和时序相关反向传播使深度脉冲神经网络可行

    提出了一种基于深度 Spiking Neural Networks 的计算高效的训练方法，使用一个经过转换后的 SNN 为基础，使用脉冲反向传播进行深度训练，再逐步执行基于时序的反向传播，实现训练复杂度大幅降低，极大地减少了处理输入所需的时间步骤。

    May, 2020

  • 探究各种动态模式下的最小概率流模型对 RBM 的影响

    本论文比较了训练 RBM 模型的两种算法：对比散度 (CD) 和最小概率流 (MPF)。实验结果显示 MPF 算法在不同的 RBM 配置下性能优于 CD 算法。

    Dec, 2014

  • 提高前馈神经网络在脉冲神经形态芯片中的分类准确性

    使用新的二进制硬件跨棒学习算法实现深度神经网络在 TrueNorth 芯片上的部署，可在以前工作的基础上实现显著提高（76％与 86％准确度）同时保持良好的性能 MNIST 手写数据集。

    May, 2017

  • 基于 STDP 的突触可塑性神经网络有监督学习算法

    本文提出了一种基于 Spike-Timing Dependent Plasticity (STDP) 的监督学习算法，用于基于 Leaky Integrate-and-fire (LIF) 神经元的分层 Spiking Neural Networks。该算法经 MNIST 数据集训练后，分类精度接近于使用标准反向传播算法训练的类似结构的多层感知器模型。

    Mar, 2022

  • SNNs 中的集成可塑性和网络适应性

    介绍了一种新的基于熵和网络激活的集成学习方法，该方法与仅使用尖峰活动操作的尖峰率神经元修剪技术相结合，用于处理两个脑电图数据集进行分类实验，结果表明这种修剪低尖峰率神经元群集导致更好的泛化能力。

    Mar, 2022

  • 平衡共振 - 放电神经元的收敛性理解

    由于振荡膜动力学的作用，平衡共振火神经元是在尖峰神经网络（SNNs）中作为积分器神经元的一个有趣的互补模型。相比于已有的共振神经元的变种，最近提出的平衡共振火神经元在任务性能、尖峰和参数效率，以及整体稳定性和鲁棒性方面取得了显著的方法进展。本文目的在于提供进一步关于为何和如何出现这些收敛优势的直觉。通过实验证明，平衡共振火神经元相比于已有的 Adaptive Leaky Integrate-and-Fire 神经元（ALIF neurons）可以产生一个非常干净和平滑的误差曲面，同时收敛好处主要与一个解决时间离散共振器近似的数值稳定性的变量相耦合。这些结果得到了对膜动力学的形式化研究的支持，指明梯度在传回时间时没有损失幅度。

    Jun, 2024