NIPSDec, 2016

模拟到脉冲卷积神经网络的转换理论与工具

PDF
TL;DR研究论文提出了一种将深度卷积神经网络（CNNs）转化为深度脉冲神经网络（SNNs）的新方法，并将该方法运用于常见的 CNN 操作（如最大池化、softmax 和批量归一化）的实现上，在实验中，该方法在 MNIST 和 CIFAR10 基准测试中表现出了迄今为止最佳的 SNN 结果。
发现论文，激发创造
  • 将传统人工神经网络转化为脉冲神经网络的最优方案

    本文介绍了一种将传统人工神经网络转化为脉冲神经网络的新方法，该方法使用门限平衡和软重置机制将权重转移至目标 SNN，以降低转换误差。该方法能够保证几乎不出现精度损失，并且只需要典型 SNN 模拟时间的 1/10，非常适合于对 SNN 极限能量和内存进行支持的嵌入式平台上的实现。

    Feb, 2021

  • 深度 SNN 中最大池化操作的脉冲逼近

    本文介绍了两种硬件友好的方法来在深度脉冲神经网络中实现 Max-Pooling，并在 Intel 的 Loihi 神经形态硬件上执行 SNNs，证明了我们的方法的可行性。

    May, 2022

  • 生物启发计算与深度学习的相遇：从人工神经网络到低延迟、准确、高能效的脉冲神经网络

    通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法，我们提出了一种新的 ANN 转 SNN 框架，可以以极低的时间步和高级稀疏性实现无损 SNN，低延迟，低计算能耗和高测试准确性（例如，ImageNet 数据集上只有 4 个时间步的准确率为 73.30%）。

    Dec, 2023

  • 利用混合转换和时序相关反向传播使深度脉冲神经网络可行

    提出了一种基于深度 Spiking Neural Networks 的计算高效的训练方法，使用一个经过转换后的 SNN 为基础，使用脉冲反向传播进行深度训练，再逐步执行基于时序的反向传播，实现训练复杂度大幅降低，极大地减少了处理输入所需的时间步骤。

    May, 2020

  • 用于文本分类的脉冲卷积神经网络

    本研究介绍了一种用于文本分类的 “转换 + 微调” 两步方法，提出了一种将预训练词嵌入编码为脉冲训练的简单而有效的方式，并经验证通过使用替代梯度进行微调后，这些转换后的脉冲神经网络在英文和中文数据集上能够以更少的能量消耗与深度神经网络有可比较的结果，并且这样的脉冲神经网络比深度神经网络更鲁棒抵御对抗性攻击。

    Jun, 2024

  • 脉冲深度残差网络

    提出了一种有效的方法，将 ResNet 转换为名为 S-ResNet 的脉冲神经元网络，该方法采用转换模型和补偿机制来降低离散化引起的误差，并在 CIFAR-10，CIFAR-100 和 ImageNet 2012 数据集上实现了比现有 SNN 途径更好的性能，这是第一次在大规模数据集上构建超过 40 层深度的 SNN，并获得与 ANNs 相当的性能。

    Apr, 2018

  • 为训练深度神经网络架构实现基于脉冲的反向传播

    通过引入近似导数方法和基于脉冲的反向传播方法，本文提出一种可以直接训练深度脉冲神经网络的方法，实验结果表明，该方法在 MNIST、SVHN 和 CIFAR-10 数据集上取得了比其他基于脉冲的神经网络更好的分类效果。

    Mar, 2019

  • 低延迟脉冲神经网络的优化电位初始化

    通过优化初始膜电位实现高精度 ANN-to-SNN 转换，使得 SNN 在低延迟下达到了与最优性能相当的准确率，并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最新的结果。

    Feb, 2022

  • 针对神经形态应用优化突触神经网络的能耗消耗

    该文介绍了将卷积神经网络转化为脉冲神经网络的方法，并探讨了量化感知的训练及优化策略对于能效的影响，实验表明转换后的网络在维持相似准确率的情况下具有更低的能量消耗。

    Dec, 2019

  • 具有突发电位的脉冲神经网络的高效准确转换

    探讨了 ANN 转换成 SNN 的过程中容易出现的问题，并提出了利用 Lateral Inhibition Pooling 和 Burst spikes 等方法加快推理过程并提高准确性的算法，在 CIFAR 和 ImageNet 数据集上实验取得了很高的效率和精度。

    Apr, 2022