ECCVOct, 2022

Real Spike: 学习脉冲神经网络的实值脉冲

PDF
TL;DR本文提出了一种用于 SNNs 的训练 - 推理分离方法 ——Real Spike，该方法不仅享有未共享的卷积核和二进制脉冲推理时间，而且在训练期间还保持了共享卷积核和实值脉冲。通过参数重新调整技术，实现了 SNN 的这种解耦机制。此外，本文还提出了几种不同形式的 Real Spike，适用于不同的硬件平台，并在多个数据集上表现出比现有模型更好的性能。
spiking neural networksreal spiketraining-inference decouplingconvolution kernelsneuromorphic hardwares
发现论文，激发创造
  • 为训练深度神经网络架构实现基于脉冲的反向传播

    通过引入近似导数方法和基于脉冲的反向传播方法，本文提出一种可以直接训练深度脉冲神经网络的方法，实验结果表明，该方法在 MNIST、SVHN 和 CIFAR-10 数据集上取得了比其他基于脉冲的神经网络更好的分类效果。

    Mar, 2019

  • 利用传统循环神经网络进行基于脉冲的计算

    本文中，我们尝试一种对称方法：我们通过修改一种易于训练的循环神经网络的动力学来使其基于事件。这种新型 RNN 单元，称为 Spiking Recurrent Cell，因此使用事件即 spike 进行通信，同时可完全区分化。因此，可以使用基本反向传播来训练任何由该 RNN 单元组成的网络。我们展示了这种新的网络在 MNIST 基准测试及其变体 Fashion-MNIST 和 Neuromorphic-MNIST 中可以达到与其他类型的脉冲网络可比较的性能，并且这个新单元使得深度脉冲网络的训练成为可能。

    Jun, 2023

  • 超越分类：直接训练脉冲神经网络实现语义分割

    本论文探讨了脉冲神经网络在语义分割方面的应用，通过替代全连接层和使用替代梯度学习方法，将基本的全卷积网络和 DeepLab 架构重构为 SNN 域的网络。实验表明，相较于 ANN 网络，SNN 网络在这个领域更加稳健和节能。

    Oct, 2021

  • 朝零内存占用的脉冲神经网络训练

    设计具有高准确性的可逆 SNN 节点以降低内存占用并利用算法来加速训练过程，从而减少训练时间。

    Aug, 2023

  • 利用混合转换和时序相关反向传播使深度脉冲神经网络可行

    提出了一种基于深度 Spiking Neural Networks 的计算高效的训练方法，使用一个经过转换后的 SNN 为基础，使用脉冲反向传播进行深度训练，再逐步执行基于时序的反向传播，实现训练复杂度大幅降低，极大地减少了处理输入所需的时间步骤。

    May, 2020

  • 使用反向传播训练深度脉冲神经网络

    该论文介绍了一种新技术，将尖峰神经元的电位视为可微信号，从而在较少的精度损失的情况下通过误差反向传播机制直接对尖峰信号和电位进行训练，这使得深度尖峰神经网络比以往的间接训练方法表现更好，能够更精确地捕获尖峰的静态特征。测试结果表明，该算法在 MNIST 和 N-MNIST 数据集上比以往的 SNNs 方法表现更好。

    Aug, 2016

  • 基于直接学习的深度脉冲神经网络综述

    本文综述了基于直接学习的深度脉冲神经网络研究，重点讨论了提高准确性、提高效率和利用时间动态的方法，并进一步分类和总结。同时，展望了未来研究中可能面临的挑战和趋势。

    May, 2023

  • 脉冲神经网络深度学习

    该研究论文讨论深度脉冲神经网络的训练方法，比较有监督和无监督学习的准确性、计算成本和硬件友好性，发现深度脉冲神经网络在准确性方面仍落后于人工神经网络，但在许多任务中可以达到相同的准确性并需要更少的计算操作。

    Apr, 2018

  • 脉冲深度残差网络

    提出了一种有效的方法，将 ResNet 转换为名为 S-ResNet 的脉冲神经元网络，该方法采用转换模型和补偿机制来降低离散化引起的误差，并在 CIFAR-10，CIFAR-100 和 ImageNet 2012 数据集上实现了比现有 SNN 途径更好的性能，这是第一次在大规模数据集上构建超过 40 层深度的 SNN，并获得与 ANNs 相当的性能。

    Apr, 2018

  • 生物启发计算与深度学习的相遇：从人工神经网络到低延迟、准确、高能效的脉冲神经网络

    通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法，我们提出了一种新的 ANN 转 SNN 框架，可以以极低的时间步和高级稀疏性实现无损 SNN，低延迟，低计算能耗和高测试准确性（例如，ImageNet 数据集上只有 4 个时间步的准确率为 73.30%）。

    Dec, 2023