Jun, 2023

脉冲去噪扩散概率模型

PDF
TL;DR本文提出了一种新的基于脉冲神经网络的生成模型 ——SDDPM，通过仅使用 4 个时间步骤的纯脉冲 U-Net 体系结构，实现与其 ANN 模型的可比性能，从而充分利用脉冲神经网络的能源效率，并在 CIFAR-10 和 CelebA 数据集上实现了卓越的性能，是脉冲神经网络生成领域的重大进展。
spiking neural networksgenerative modelsenergy efficiencysddpmu-net
发现论文，激发创造
  • 完全脉冲去噪扩散隐式模型

    提出了一种基于脉冲神经网络的全脉冲去噪扩散隐式模型（FSDDIM）的方法，利用脉冲神经网络的高速和低能耗特性构建扩散模型，并通过突触电流学习实现扩散模型的生成过程，实验结果表明该方法优于最先进的全脉冲生成模型。

    Dec, 2023

  • SDiT：具有 Transformer 的脉冲扩散模型

    本研究探索了一种新的扩散模型结构，利用变压器替代传统扩散模型中常用的 U-net 结构，以提供基于脉冲神经网络的生成模型的实证基线。实验结果表明，所提出的方法在 MNIST，Fashion-MNIST 和 CIFAR-10 数据集上与现有的脉冲神经网络生成模型具有很高的竞争力。

    Feb, 2024

  • 脉冲扩散：基于脉冲神经网络的向量量化离散扩散模型

    我们提出了一种基于脉冲扩散模型的脉冲神经网络，通过向量量化离散扩散模型和 SNNs 的结合，实现对图像的表达和去噪，实验证明它在多个数据集上的性能优于现有的 SNN 生成模型。

    Aug, 2023

  • 超越分类：直接训练脉冲神经网络实现语义分割

    本论文探讨了脉冲神经网络在语义分割方面的应用，通过替代全连接层和使用替代梯度学习方法，将基本的全卷积网络和 DeepLab 架构重构为 SNN 域的网络。实验表明，相较于 ANN 网络，SNN 网络在这个领域更加稳健和节能。

    Oct, 2021

  • 通过知识蒸馏从人工神经网络构建深度脉冲神经网络

    本文提出了一种新的方法，利用知识蒸馏构建深度 SNN 模型，通过利用 ANN 作为教师模型和 SNN 作为学生模型进行联合训练算法，可以更加有效地构建深层脉冲神经网络结构，并且在与不可微分波形的通信时，仍然能够避免从零开始训练 SNN，并且具有良好的噪声免疫能力。

    Apr, 2023

  • 自适应脉冲循环神经网络精确高效的时间域分类

    本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络，将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平，并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级，从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。

    Mar, 2021

  • 脉冲深度残差网络

    提出了一种有效的方法，将 ResNet 转换为名为 S-ResNet 的脉冲神经元网络，该方法采用转换模型和补偿机制来降低离散化引起的误差，并在 CIFAR-10，CIFAR-100 和 ImageNet 2012 数据集上实现了比现有 SNN 途径更好的性能，这是第一次在大规模数据集上构建超过 40 层深度的 SNN，并获得与 ANNs 相当的性能。

    Apr, 2018

  • 深入研究直接训练更大尺寸的脉冲神经网络

    提出了一种基于阈值相关批归一化（tdBN）和空间时间反向传播（STBP）的方法，可直接训练深度脉冲神经网络（SNN），并在神经形态硬件上实现其推理，单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率，是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。

    Oct, 2020

  • 使用精心设计的输入噪声训练深度脉冲神经网络，发挥其固有鲁棒性的潜力（HIRE-SNN）

    本文研究低延迟深度脉冲神经网络克服对抗攻击的训练算法，通过在输入层引入精心设计的噪声，已有的模型仅需进行微调即可达到防御攻击的效果，同时在分类性能、时延和计算能耗方面表现出色。

    Oct, 2021

  • 使用 U-Net 脉冲神经网络的单信道语音增强

    本文提出了一种基于脉冲神经网络（SNN）和 U-Net 架构的能量高效语音增强模型，该模型在处理带有时间维度的数据（例如语音）和应用于资源有限设备上具有良好的性能，实验结果表明所提出的 SNN 模型在能量高效性上优于 Intel Neuromorphic Deep Noise Suppression Challenge（Intel N-DNS Challenge）基准解决方案，并实现了与等效 ANN 模型相当的性能。

    Jul, 2023