Jul, 2020

深度脉冲神经网络模式识别的渐进串联学习

PDF
TL;DR本文提出了一种称为渐进串联深度 SNN 的 ANN 到 SNN 的转换和分层学习框架，该框架利用脉冲计数以逼近模拟神经元的激活值，以及一种适应性训练调度器细化网络权重，其在大规模物体识别、图像重建和语音分离任务中能够展示出出色的分类和回归能力，同时需要的推理时间和突触操作比其他最先进的 SNN 实现少了至少一个数量级，因此它为功率有限的移动和嵌入式设备提供了无数机会。
spiking neural networkspattern recognitionlayer-wise learninganalog neuronslow latency
发现论文，激发创造
  • 脉冲神经网络深度学习

    该研究论文讨论深度脉冲神经网络的训练方法，比较有监督和无监督学习的准确性、计算成本和硬件友好性，发现深度脉冲神经网络在准确性方面仍落后于人工神经网络，但在许多任务中可以达到相同的准确性并需要更少的计算操作。

    Apr, 2018

  • 超越分类：直接训练脉冲神经网络实现语义分割

    本论文探讨了脉冲神经网络在语义分割方面的应用，通过替代全连接层和使用替代梯度学习方法，将基本的全卷积网络和 DeepLab 架构重构为 SNN 域的网络。实验表明，相较于 ANN 网络，SNN 网络在这个领域更加稳健和节能。

    Oct, 2021

  • 在 SpiNNaker 上使用脉冲神经网络，通过 STDP 和稳态调节进行空间特征的监督学习

    该论文介绍了一种在脉冲神经网络（SNN）上执行监督学习的新方法，通过使用时序相关可塑性（STDP）和稳态调节训练网络以识别空间模式，该方法通过 SpiNNaker 数字架构进行测试，结果表明 SNN 能够以高准确率识别单个训练模式，但当训练模式数量增加时，识别准确率与这些模式之间的相似性有关，该方法可以应用于静态图像的模式识别或计算机网络中的流量分析，其中每个网络数据包代表一个空间模式。

    Dec, 2023

  • 将传统人工神经网络转化为脉冲神经网络的最优方案

    本文介绍了一种将传统人工神经网络转化为脉冲神经网络的新方法，该方法使用门限平衡和软重置机制将权重转移至目标 SNN，以降低转换误差。该方法能够保证几乎不出现精度损失，并且只需要典型 SNN 模拟时间的 1/10，非常适合于对 SNN 极限能量和内存进行支持的嵌入式平台上的实现。

    Feb, 2021

  • 深入研究直接训练更大尺寸的脉冲神经网络

    提出了一种基于阈值相关批归一化（tdBN）和空间时间反向传播（STBP）的方法，可直接训练深度脉冲神经网络（SNN），并在神经形态硬件上实现其推理，单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率，是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。

    Oct, 2020

  • 自适应脉冲循环神经网络精确高效的时间域分类

    本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络，将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平，并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级，从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。

    Mar, 2021

  • 生物启发计算与深度学习的相遇：从人工神经网络到低延迟、准确、高能效的脉冲神经网络

    通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法，我们提出了一种新的 ANN 转 SNN 框架，可以以极低的时间步和高级稀疏性实现无损 SNN，低延迟，低计算能耗和高测试准确性（例如，ImageNet 数据集上只有 4 个时间步的准确率为 73.30%）。

    Dec, 2023

  • 脉冲神经网络的直接训练：更快，更大，更好

    通过提出神经元规范化技术和直接学习算法，以及缩小速率编码窗口和将漏电整合 - 击发（LIF）模型转换为显式迭代版本的 Pytorch 实现方法，训练了高性能的 CIFAR10 数据集上的深度 SNN，开辟了探究 SNN 潜力的新途径。

    Sep, 2018

  • 为训练深度神经网络架构实现基于脉冲的反向传播

    通过引入近似导数方法和基于脉冲的反向传播方法，本文提出一种可以直接训练深度脉冲神经网络的方法，实验结果表明，该方法在 MNIST、SVHN 和 CIFAR-10 数据集上取得了比其他基于脉冲的神经网络更好的分类效果。

    Mar, 2019

  • 共同学习脉冲神经网络中的突触延迟、权重和自适应

    通过协同学习连接权重、神经元适应过程和突触传播延迟等生物灵感神经元特征，本文展示了脉冲神经网络 (SNN) 在数据处理方面的增强，进而在具有丰富时间动态的任务上表现出与等效人工神经网络 (ANN) 类似大小的最先进效果。

    Sep, 2023