Mar, 2020

T2FSNN：基于时间第一次尖峰编码的深度脉冲神经网络

PDF
TL;DR本文提出了 T2FSNN，利用基于内核的动态阈值和树突将时间到第一个尖峰编码的概念引入深度 SNN 中，进一步提高其效率，优化后的方法可以将推理延迟和尖峰数分别降低到 22％和小于 1％。
spiking neural networksdeep neural networkt2fsnntime-to-first-spike codinggradient-based optimization
发现论文，激发创造
  • Spiking-GAN：使用首次尖峰编码的脉冲生成对抗网络

    本文提出了一种使用时间编码和近似反向传播训练的基于脉冲神经网络的生成对抗网络，命名为 Spiking-GAN，实验证明其在 MNIST 数据集上生成高质量样本的潜力。

    Jun, 2021

  • 基于稀疏触发规则的时间至第一触发编码的脉冲神经网络正则化方法

    本文提出了两种基于时间的稀疏发放（SSR）正则化方法，用于进一步降低 TTFS 编码的 SNN 的发放频率，并通过使用多层感知器网络和卷积神经网络结构在 MNIST、Fashion-Mnist 和 CIFAR-10 数据集上对这些正则化方法的效果进行了研究。

    Jul, 2023

  • 易于训练和稳健性能的时间编码深度脉冲神经网络

    本文研究了脉冲神经网络的训练方法，将其应用于 CIFAR10 和 ImageNet 数据集中，并采用量化和扰动方式增强其稳健性，最终证明了脉冲神经网络在实际应用中具有高性能和高能效的可行性。

    Sep, 2019

  • 使用优化效率和最小延迟的通用脉冲神经网络训练

    提出了一个通用的训练框架，提高了有限时间步长内特征学习和激活效率，为更节能的 SNN 提供了新的解决方案。

    Jan, 2024

  • 深入研究直接训练更大尺寸的脉冲神经网络

    提出了一种基于阈值相关批归一化（tdBN）和空间时间反向传播（STBP）的方法，可直接训练深度脉冲神经网络（SNN），并在神经形态硬件上实现其推理，单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率，是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。

    Oct, 2020

  • 基于突发尖峰的深度脉冲神经网络快速高效信息传输

    本研究提出了一种利用突发脉冲和混合神经编码方案实现的快速高效信息传输方法，以提高深度脉冲神经网络的推理能效和降低延迟。

    Sep, 2018

  • 脉冲神经网络的直接训练：更快，更大，更好

    通过提出神经元规范化技术和直接学习算法，以及缩小速率编码窗口和将漏电整合 - 击发（LIF）模型转换为显式迭代版本的 Pytorch 实现方法，训练了高性能的 CIFAR10 数据集上的深度 SNN，开辟了探究 SNN 潜力的新途径。

    Sep, 2018

  • 利用混合转换和时序相关反向传播使深度脉冲神经网络可行

    提出了一种基于深度 Spiking Neural Networks 的计算高效的训练方法，使用一个经过转换后的 SNN 为基础，使用脉冲反向传播进行深度训练，再逐步执行基于时序的反向传播，实现训练复杂度大幅降低，极大地减少了处理输入所需的时间步骤。

    May, 2020

  • 一个时间步长就足够了：使用超低延迟训练脉冲神经网络

    本文提出了一种针对脉冲神经网络的迭代初始化及重训练方法 (IIR-SNN) 来进行单次推断，在保证精度的情况下将时延降到了极致，实验结果表明，该方法不仅具有可比较的性能，而且比同类算法在能效方面提高了 25-33 倍，相当于标准深度神经网络的性能。

    Oct, 2021

  • 自适应脉冲循环神经网络精确高效的时间域分类

    本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络，将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平，并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级，从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。

    Mar, 2021