CVPRMar, 2024

SpikingResformer: 在脉冲神经网络中连接 ResNet 和 Vision Transformer

PDF
TL;DR提出了一种名为 Dual Spike Self-Attention (DSSA) 的新型脉冲自注意机制以及相应的 Spiking Neural Networks 架构，命名为 SpikingResformer，通过将 ResNet-based 多阶段架构与 DSSA 相结合，提高了性能和能源效率，同时减少了参数。实验结果表明，相比其他脉冲式 Vision Transformer，SpikingResformer 在 ImageNet 上以 4 个时间步长获得了 79.40% 的 top-1 准确率，为该领域的最新成果。
vision transformersself-attention mechanismspiking neural networksdual spike self-attentionspikingresformer
发现论文，激发创造
  • Spikformer V2：使用 SNN 特征进行 ImageNet 高精度计算

    通过结合自注意能力和生物特性，本论文提出了一种新颖的脉冲自注意 (SSA) 和脉冲变换器 (Spikformer)，其中 SSA 机制消除了 softmax 的需求，利用基于脉冲的查询、键和值实现了稀疏视觉特征的捕获，而 SCS 则用于增强 Spikformer 的架构。通过自监督学习 (SLS) 实现对更大、更深的 Spikformer V2 的训练，实验证明此方法在 ImageNet 上的分类准确性超过了其他方法，且 SNN 首次在 ImageNet 上达到超过 80% 的准确性。

    Jan, 2024

  • Spikingformer：基于脉冲的剩余学习用于基于 Transformer 的脉冲神经网络

    本研究提出了一种硬件友好的、基于残差设计的、全新的、纯变压器型脉冲神经网络 ——Spikingformer，它能够避免非脉冲计算并使能耗降低 60.34％。Spikingformer 在图像分类任务的表现优于之前的纯 SNN，并且是首次开发出全脉冲驱动的变压器型 SNN。

    Apr, 2023

  • 脉冲深度残差网络

    提出了一种有效的方法，将 ResNet 转换为名为 S-ResNet 的脉冲神经元网络，该方法采用转换模型和补偿机制来降低离散化引起的误差，并在 CIFAR-10，CIFAR-100 和 ImageNet 2012 数据集上实现了比现有 SNN 途径更好的性能，这是第一次在大规模数据集上构建超过 40 层深度的 SNN，并获得与 ANNs 相当的性能。

    Apr, 2018

  • 脉冲驱动的 Transformer

    本文提出了一种基于 Spike-driven Transformer 的神经网络，其具有事件驱动、自注意力、二进制尖峰通讯等特点，从而实现了能效更高的深度学习，并在 ImageNet-1K 数据集上取得了 77.1% 的 top-1 准确率。

    Jul, 2023

  • Spikeformer：一种用于训练高性能低延迟脉冲神经网络的新型结构

    提出了一种基于 Transformer 的 Spikeformer 方法，它在静态数据集和神经形态数据集上均优于其人工神经网络对应物。为了更好地将注意力机制整合到 Transformer 中，并融合内在于 SNN 的时空信息，采用时空注意力机制。

    Nov, 2022

  • 无注意力 Spikformer: 将脉冲序列与简单线性转换混合

    通过将自注意力能力和脉冲神经网络（SNNs）的生物特性相结合，Spikformer 将蓬勃发展的 Transformer 架构应用于 SNN 设计。它引入了脉冲自注意力（SSA）模块，使用脉冲形式的查询、键和值来混合稀疏视觉特征，与之前的类 SNN 框架相比，在许多数据集上呈现出最先进的性能。该论文证明了 Spikformer 架构可以通过将 SSA 替换为非参数化的线性变换（LT），如傅里叶和小波变换，来加速。这些变换被用于混合脉冲序列，将二次时间复杂度降低为对数线性时间复杂度。它们在频率和时间域之间交替提取稀疏视觉特征，展示了强大的性能和效率。我们在使用神经形态学和静态数据集进行图像分类方面进行了广泛的实验。结果表明，与具有 SSA 的最先进的 Spikformer 相比，具有 LT 的 Spikformer 在神经形态学数据集上实现了更高的 Top-1 准确率，并且在静态数据集上实现了可比较的 Top-1 准确率。此外，与需要可学习参数的 SSA 相比，具有 LT 的 Spikformer 实现了约 29％至 51％的训练速度提升，61％至 70％的推断速度提升，并且减少了 4％至 26％的内存使用量。

    Aug, 2023

  • 脉冲驱动 Transformer V2：元脉冲神经网络架构启发下一代神经形态芯片的设计

    通过提出一种名为 "Meta-SpikeFormer" 的通用 Transformer 架构，本论文实现了对 CNN-based SNNs 具有压倒性性能优势的低功耗、多功能、高性能、面向未来下一代神经形态芯片设计的 Meta 架构，并应用于分类、检测和分割任务中，取得了 SNN 领域的最佳结果。

    Feb, 2024

  • 深入探究脉冲神经网络：VGG 和残差结构

    本研究提出一种新颖算法技术生成深度架构的 Spiking Neural Networks，此算法应用于 VGG 和 Residual 网络架构并在 CIFAR-10 和 ImageNet 等图像识别问题上取得了显著的准确率提高，同时证明在 spiking 领域内的稀疏 event-driven 计算可减少硬件开销。

    Feb, 2018

  • 高效内存可逆脉冲神经网络

    我们提出可逆脉冲神经网络以降低训练过程中中间激活和膜电位的内存成本，通过实验证明我们的可逆 SNN 网络在网络深度上不增加每张图片的内存成本，并比现有模型在准确性和消耗的 GPU 内存方面表现更好。

    Dec, 2023

  • SpikeGraphormer：具有脉冲图注意力的高性能图 Transformer

    我们提出了将 SNNs 与 Graph Transformers 相结合的新颖观点，并设计了一个 Spiking Graph Attention (SGA) 模块，通过稀疏加法和掩码操作取代矩阵乘法。我们的 Spiking Graph Attention 模块在大规模图上实现了全对节点交互，并且能够同时捕捉本地邻居。SpikeGraphormer 比现有的方法在各种数据集上表现出色，在训练时间、推断时间和 GPU 内存成本等方面都有显著改进（比普通的 self-attention 低 10-20 倍）。它在跨领域应用（图像和文本分类）中也表现良好。

    Mar, 2024