脉冲神经网络的梯度下降
本研究证明了在采用了时间编码方案的前馈脉冲网络中，网络输入 - 输出关系在几乎任何地方都是可微的，并且在变量转换后这种关系是分段线性的。此外，我们展示了通过该方法对项独立 MNIST 任务进行训练的结果，从而证明了训练人工神经网络的方法可以直接应用于训练这种脉冲网络。与基于速率的脉冲网络不同的是，我们所提出的网络的脉冲更为稀疏，且其行为不能直接由传统的人工神经网络来近似。这些结果强调了控制具有复杂时间信息的脉冲模式的脉冲网络行为的新方法。
Jun, 2016
研究了如何通过事件驱动的神经形态系统中的脉冲事件来离散化梯度，在 MNIST 和 CIFAR10 数据集上取得了与全精度梯度相媲美或更好的精度。该算法称为 SpikeGrad。
Jun, 2019
本研究基于神经脉冲网络中的超级脉冲非线性电压三因素学习规则，探究了不同信用分配策略对多层神经网络的表现，可促进神经脉冲网络的学习和计算方式的理解。
May, 2017
本文阐述了训练脉冲神经网络时通常遇到的问题，并通过指导读者了解突触可塑性和数据驱动学习的关键概念，概述了现有方法并介绍了代理梯度方法，这是一种特别灵活和有效的克服上述挑战的方法。
Jan, 2019
本文提出了一种估算脉冲神经网络突触权重目标函数梯度的方法，通过测量神经元膜电导动态扰动对目标函数的影响波动，可适用于具有动态突触的传导模型神经元的循环网络，可以解释为一种生物学上合理的突触学习规则。
Jan, 2006
本文综述了基于直接学习的深度脉冲神经网络研究，重点讨论了提高准确性、提高效率和利用时间动态的方法，并进一步分类和总结。同时，展望了未来研究中可能面临的挑战和趋势。
May, 2023
通过介绍一种能够在脉冲网络上进行反向传播的算法，我们表明，在脉冲多层感知机（MLP）长时间运行的极限情况下，该网络在预测和训练期间的行为与带有修正线性单元的传统深度网络行为完全相同。我们将此架构应用于传统分类问题（MNIST），并实现了与具有相同架构的传统 MLP 非常接近的性能。此网络对于基于流事件数据的学习具有自然架构，是使用脉冲神经网络高效学习流式数据的基石。
Feb, 2016
本文中，我们尝试一种对称方法：我们通过修改一种易于训练的循环神经网络的动力学来使其基于事件。这种新型 RNN 单元，称为 Spiking Recurrent Cell，因此使用事件即 spike 进行通信，同时可完全区分化。因此，可以使用基本反向传播来训练任何由该 RNN 单元组成的网络。我们展示了这种新的网络在 MNIST 基准测试及其变体 Fashion-MNIST 和 Neuromorphic-MNIST 中可以达到与其他类型的脉冲网络可比较的性能，并且这个新单元使得深度脉冲网络的训练成为可能。
Jun, 2023
脉冲神经网络在信息表示和处理中依赖信号的时间性。本文提出了一种基于事件的分析方法，可以计算出准确的损失梯度，包括突触权重和传输延迟，丰富了模型的搜索空间。研究结果显示，学习延迟在提高准确性和参数效率方面具有重要优势。
Apr, 2024