Sep, 2019

易于训练和稳健性能的时间编码深度脉冲神经网络

PDF
TL;DR本文研究了脉冲神经网络的训练方法，将其应用于 CIFAR10 和 ImageNet 数据集中，并采用量化和扰动方式增强其稳健性，最终证明了脉冲神经网络在实际应用中具有高性能和高能效的可行性。
spiking neural networktrainingenergy efficiencybenchmark datasetshardware experiment platforms
发现论文，激发创造
  • 深入研究直接训练更大尺寸的脉冲神经网络

    提出了一种基于阈值相关批归一化（tdBN）和空间时间反向传播（STBP）的方法，可直接训练深度脉冲神经网络（SNN），并在神经形态硬件上实现其推理，单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率，是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。

    Oct, 2020

  • 脉冲神经网络的直接训练：更快，更大，更好

    通过提出神经元规范化技术和直接学习算法，以及缩小速率编码窗口和将漏电整合 - 击发（LIF）模型转换为显式迭代版本的 Pytorch 实现方法，训练了高性能的 CIFAR10 数据集上的深度 SNN，开辟了探究 SNN 潜力的新途径。

    Sep, 2018

  • 使用优化效率和最小延迟的通用脉冲神经网络训练

    提出了一个通用的训练框架，提高了有限时间步长内特征学习和激活效率，为更节能的 SNN 提供了新的解决方案。

    Jan, 2024

  • 脉冲深度残差网络

    提出了一种有效的方法，将 ResNet 转换为名为 S-ResNet 的脉冲神经元网络，该方法采用转换模型和补偿机制来降低离散化引起的误差，并在 CIFAR-10，CIFAR-100 和 ImageNet 2012 数据集上实现了比现有 SNN 途径更好的性能，这是第一次在大规模数据集上构建超过 40 层深度的 SNN，并获得与 ANNs 相当的性能。

    Apr, 2018

  • 神经形态算法硬件协同设计用于时间模式学习

    本文介绍了一种针对 Leaky Integrate and Fire 神经元的高效训练算法，该算法能够训练 SNN 学习复杂的时空模式，并且通过与硬件结合的方式，展示了神经元和突触基于忆阻器的网络实现的原理及优点。

    Apr, 2021

  • 自适应脉冲循环神经网络精确高效的时间域分类

    本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络，将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平，并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级，从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。

    Mar, 2021

  • T2FSNN：基于时间第一次尖峰编码的深度脉冲神经网络

    本文提出了 T2FSNN，利用基于内核的动态阈值和树突将时间到第一个尖峰编码的概念引入深度 SNN 中，进一步提高其效率，优化后的方法可以将推理延迟和尖峰数分别降低到 22％和小于 1％。

    Mar, 2020

  • 神经形态硬件上的超低功耗图像分类

    基于时间编码的 ANN 到 SNN 转换方法 Quartz 在神经形态硬件上实现了高分类准确性，通过时间编码在功耗、吞吐量和延迟方面具有优势。

    Sep, 2023

  • 生物启发计算与深度学习的相遇：从人工神经网络到低延迟、准确、高能效的脉冲神经网络

    通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法，我们提出了一种新的 ANN 转 SNN 框架，可以以极低的时间步和高级稀疏性实现无损 SNN，低延迟，低计算能耗和高测试准确性（例如，ImageNet 数据集上只有 4 个时间步的准确率为 73.30%）。

    Dec, 2023

  • 用于文本分类的脉冲卷积神经网络

    本研究介绍了一种用于文本分类的 “转换 + 微调” 两步方法，提出了一种将预训练词嵌入编码为脉冲训练的简单而有效的方式，并经验证通过使用替代梯度进行微调后，这些转换后的脉冲神经网络在英文和中文数据集上能够以更少的能量消耗与深度神经网络有可比较的结果，并且这样的脉冲神经网络比深度神经网络更鲁棒抵御对抗性攻击。

    Jun, 2024