Apr, 2024

DelGrad：用于学习传输延迟和权重的脉冲网络的精确梯度

PDF
TL;DR脉冲神经网络在信息表示和处理中依赖信号的时间性。本文提出了一种基于事件的分析方法，可以计算出准确的损失梯度，包括突触权重和传输延迟，丰富了模型的搜索空间。研究结果显示，学习延迟在提高准确性和参数效率方面具有重要优势。
spiking neural networkstiming of signalstransmission delayslearning delaysexact loss gradients
发现论文，激发创造
  • 轴突延迟作为前馈深度脉冲神经网络的短期记忆

    本文提出了一种短时记忆 / 修正轴突延迟模块用于调节脉冲发放的时间，实现神经元轴突传输的时序信息，并在三个神经视觉公开数据集上进行验证实现。

    Apr, 2022

  • 共同学习脉冲神经网络中的突触延迟、权重和自适应

    通过协同学习连接权重、神经元适应过程和突触传播延迟等生物灵感神经元特征，本文展示了脉冲神经网络 (SNN) 在数据处理方面的增强，进而在具有丰富时间动态的任务上表现出与等效人工神经网络 (ANN) 类似大小的最先进效果。

    Sep, 2023

  • 使用反向传播训练深度脉冲神经网络

    该论文介绍了一种新技术，将尖峰神经元的电位视为可微信号，从而在较少的精度损失的情况下通过误差反向传播机制直接对尖峰信号和电位进行训练，这使得深度尖峰神经网络比以往的间接训练方法表现更好，能够更精确地捕获尖峰的静态特征。测试结果表明，该算法在 MNIST 和 N-MNIST 数据集上比以往的 SNNs 方法表现更好。

    Aug, 2016

  • 脉冲神经网络的梯度下降

    本研究提出了一种利用可微分脉冲神经网络模型的梯度下降方法，解决以往基于静态神经元的网络模型无法处理脉冲信号信息处理的问题。实验结果表明该方法可以优化脉冲神经网络的动态行为与行为时间的关系，并为基于脉冲信号的神经计算提供了通用的监督学习算法。

    Jun, 2017

  • 使用可学习间距和扩张卷积学习脉冲神经网络中的延迟

    提出了一个新的离线离散时间算法，基于通过时间的 1D 卷积进行模拟，来学习深度前馈 SNN 中的延迟并提高其表现，这一算法使用了可学习间隔的扩张卷积（DCLS），在测试中表现优于最新技术，为时序数据处理中精确模型的发展提供了潜力。

    Jun, 2023

  • 基于脉冲神经网络时间编码的监督学习

    本研究证明了在采用了时间编码方案的前馈脉冲网络中，网络输入 - 输出关系在几乎任何地方都是可微的，并且在变量转换后这种关系是分段线性的。此外，我们展示了通过该方法对项独立 MNIST 任务进行训练的结果，从而证明了训练人工神经网络的方法可以直接应用于训练这种脉冲网络。与基于速率的脉冲网络不同的是，我们所提出的网络的脉冲更为稀疏，且其行为不能直接由传统的人工神经网络来近似。这些结果强调了控制具有复杂时间信息的脉冲模式的脉冲网络行为的新方法。

    Jun, 2016

  • SpikeGrad：一种用于使用脉冲实现反向传播的等效 ANN 计算模型

    研究了如何通过事件驱动的神经形态系统中的脉冲事件来离散化梯度，在 MNIST 和 CIFAR10 数据集上取得了与全精度梯度相媲美或更好的精度。该算法称为 SpikeGrad。

    Jun, 2019

  • 粗糙信号驱动的随机尖峰神经网络的精确梯度

    基于粗路径理论，我们引入了一个数学严谨的框架，将随机尖峰神经网络建模为具有事件不连续性的随机微分方程 (Event SDEs)，并驱动着 cadlag 粗路径。我们提出了一组充分的条件，以确保解轨迹和事件时间相对于网络参数的路径梯度的存在，并展示了这些梯度满足递归关系。此外，我们引入了一种通用的损失函数，通过一类基于 cadlag 粗路径的签名核对其进行定义，并用它来训练随机尖峰神经网络作为生成模型。我们提供了一种端到端的自动微分求解器，用于 Event SDEs，并将其实现作为 diffrax 库的一部分。据我们所知，我们的框架是首个能够基于梯度训练同时影响脉冲时序和网络动力学噪声的随机尖峰神经网络。

    May, 2024

  • 带有突触延迟的时间脉冲神经网络用于图形推理

    SNNs, when combined with synaptic delay and temporal coding, demonstrate efficient graph reasoning and achieve significant energy savings compared to non-spiking networks.

    May, 2024

  • 时域中的 Spike 层误差重新分配

    这篇文献提出了一种新的反向传播机制来学习突触权重和轴突延迟，解决了突触激活函数不可微分的问题，从而有助于低功耗的事件驱动计算，该方法在训练全连接和卷积神经网络方面表现出色，优于现有的 SNN 和标准 ANN 到 SNN 转换技术，取得了 MNIST，NMNIST，DVS Gesture 和 TIDIGITS 数据集上 SNN 的最新性能.

    Sep, 2018