Jun, 2023

高效深度脉冲多层感知机：无乘法推理

PDF
TL;DR我们提出了一种新型 SNN MLP 架构，使用批归一化保留 MFI 兼容性，并引入针对强化本地特征提取能力的尖峰编码层，有效地结合全局感受野和本地特征提取进行综合基于脉冲的计算，实现了在 ImageNet-1K 数据集上具有 66.39％的 Top-1 准确度，而不依赖预训练或复杂的 SNN 培训技术。
spiking neural networksmultiplication-free inferencebatch normalizationlocal feature extractionimagenet-1k dataset
发现论文，激发创造
  • Spiking DS-ResNet 多级发射：实现更好、更深直接训练的尖峰神经网络

    本文提出一种基于现有的时空反向传播（STBP）方法和脉冲沉睡抑制残余网络（spiking DS-ResNet）的多层发射（MLF）方法，可以更有效地传播梯度和提高神经元的增量表达能力，解决深度 SNNs 的梯度消失和退化问题，并且在非神经形态数据集和两个神经形态数据集上展示了出色的性能。

    Oct, 2022

  • 基于脉冲神经元的脑启发式多层感知器

    本文介绍了如何在多层感知器（MLP）中使用漏泄整合和火（LIF）神经元来构建以 SNN 为灵感的神经网络机制，通过改进局部特征沟通机制来提高精度，最终在 ImageNet 数据集上取得 81.9％至 83.5％的 top-1 准确度的最新成果。

    Mar, 2022

  • 使用优化效率和最小延迟的通用脉冲神经网络训练

    提出了一个通用的训练框架，提高了有限时间步长内特征学习和激活效率，为更节能的 SNN 提供了新的解决方案。

    Jan, 2024

  • 深入探究脉冲神经网络：VGG 和残差结构

    本研究提出一种新颖算法技术生成深度架构的 Spiking Neural Networks，此算法应用于 VGG 和 Residual 网络架构并在 CIFAR-10 和 ImageNet 等图像识别问题上取得了显著的准确率提高，同时证明在 spiking 领域内的稀疏 event-driven 计算可减少硬件开销。

    Feb, 2018

  • 深度脉冲 UNet 图像处理

    本研究介绍了 Spiking-UNet 的概念，将 Spiking Neural Networks 与 U-Net 架构相结合，在图像处理任务中实现了高效的信息传输和训练策略，与非脉冲版本相比，在图像分割和去噪方面取得了可比较的性能，并且减少了推理时间。

    Jul, 2023

  • 深入研究直接训练更大尺寸的脉冲神经网络

    提出了一种基于阈值相关批归一化（tdBN）和空间时间反向传播（STBP）的方法，可直接训练深度脉冲神经网络（SNN），并在神经形态硬件上实现其推理，单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率，是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。

    Oct, 2020

  • MT-SNN：多阈值增强脉冲神经网络

    本文提出了一种多阈值（MT）方法，以缓解由二值激活带来的精度损失，从而使 SNNs 可以在更少的步骤达到更高的准确性，通过在 CIFAR10，CIFAR100 和 DVS-CIFAR10 上的评估，证明了 MT 可以广泛促进 SNNs，特别是在早期步骤中，例如，使用 MT，基于 Parametric-Leaky-Integrate-Fire（PLIF）的 VGG 网络甚至可以在 1 个步骤中胜过 ANN 对应物。

    Mar, 2023

  • 通过解决脉冲神经网络退化的关键问题推进深度残差学习

    通过提出一种新的残差块并将其应用于神经形态计算的 SNN，本文成功扩展了 SNN 的深度，获得了较高的准确率和极低的能量消耗。

    Dec, 2021

  • RMP-SNN：残余膜电位神经元实现更深、更高准确度和更低延迟的脉冲神经网络

    使用 Residual Membrane Potential (RMP) 神经元的 ANN-SNN 转换可在多个数据集和网络结构上实现近乎零损失的图像识别和推理，且优于使用硬复位尖峰神经元的 SNN 推理精度。

    Feb, 2020

  • 为训练深度神经网络架构实现基于脉冲的反向传播

    通过引入近似导数方法和基于脉冲的反向传播方法，本文提出一种可以直接训练深度脉冲神经网络的方法，实验结果表明，该方法在 MNIST、SVHN 和 CIFAR-10 数据集上取得了比其他基于脉冲的神经网络更好的分类效果。

    Mar, 2019