Jul, 2023

脉冲驱动的 Transformer

PDF
TL;DR本文提出了一种基于 Spike-driven Transformer 的神经网络，其具有事件驱动、自注意力、二进制尖峰通讯等特点，从而实现了能效更高的深度学习，并在 ImageNet-1K 数据集上取得了 77.1% 的 top-1 准确率。
spiking neural networksspike-driven transformerenergy-efficientevent-driven paradigmself-attention
发现论文，激发创造
  • Spikformer V2：使用 SNN 特征进行 ImageNet 高精度计算

    通过结合自注意能力和生物特性，本论文提出了一种新颖的脉冲自注意 (SSA) 和脉冲变换器 (Spikformer)，其中 SSA 机制消除了 softmax 的需求，利用基于脉冲的查询、键和值实现了稀疏视觉特征的捕获，而 SCS 则用于增强 Spikformer 的架构。通过自监督学习 (SLS) 实现对更大、更深的 Spikformer V2 的训练，实验证明此方法在 ImageNet 上的分类准确性超过了其他方法，且 SNN 首次在 ImageNet 上达到超过 80% 的准确性。

    Jan, 2024

  • 脉冲驱动 Transformer V2：元脉冲神经网络架构启发下一代神经形态芯片的设计

    通过提出一种名为 "Meta-SpikeFormer" 的通用 Transformer 架构，本论文实现了对 CNN-based SNNs 具有压倒性性能优势的低功耗、多功能、高性能、面向未来下一代神经形态芯片设计的 Meta 架构，并应用于分类、检测和分割任务中，取得了 SNN 领域的最佳结果。

    Feb, 2024

  • Spikingformer：基于脉冲的剩余学习用于基于 Transformer 的脉冲神经网络

    本研究提出了一种硬件友好的、基于残差设计的、全新的、纯变压器型脉冲神经网络 ——Spikingformer，它能够避免非脉冲计算并使能耗降低 60.34％。Spikingformer 在图像分类任务的表现优于之前的纯 SNN，并且是首次开发出全脉冲驱动的变压器型 SNN。

    Apr, 2023

  • SpikeGraphormer：具有脉冲图注意力的高性能图 Transformer

    我们提出了将 SNNs 与 Graph Transformers 相结合的新颖观点，并设计了一个 Spiking Graph Attention (SGA) 模块，通过稀疏加法和掩码操作取代矩阵乘法。我们的 Spiking Graph Attention 模块在大规模图上实现了全对节点交互，并且能够同时捕捉本地邻居。SpikeGraphormer 比现有的方法在各种数据集上表现出色，在训练时间、推断时间和 GPU 内存成本等方面都有显著改进（比普通的 self-attention 低 10-20 倍）。它在跨领域应用（图像和文本分类）中也表现良好。

    Mar, 2024

  • SDiT：具有 Transformer 的脉冲扩散模型

    本研究探索了一种新的扩散模型结构，利用变压器替代传统扩散模型中常用的 U-net 结构，以提供基于脉冲神经网络的生成模型的实证基线。实验结果表明，所提出的方法在 MNIST，Fashion-MNIST 和 CIFAR-10 数据集上与现有的脉冲神经网络生成模型具有很高的竞争力。

    Feb, 2024

  • SpikingResformer: 在脉冲神经网络中连接 ResNet 和 Vision Transformer

    提出了一种名为 Dual Spike Self-Attention (DSSA) 的新型脉冲自注意机制以及相应的 Spiking Neural Networks 架构，命名为 SpikingResformer，通过将 ResNet-based 多阶段架构与 DSSA 相结合，提高了性能和能源效率，同时减少了参数。实验结果表明，相比其他脉冲式 Vision Transformer，SpikingResformer 在 ImageNet 上以 4 个时间步长获得了 79.40% 的 top-1 准确率，为该领域的最新成果。

    Mar, 2024

  • 无注意力 Spikformer: 将脉冲序列与简单线性转换混合

    通过将自注意力能力和脉冲神经网络（SNNs）的生物特性相结合，Spikformer 将蓬勃发展的 Transformer 架构应用于 SNN 设计。它引入了脉冲自注意力（SSA）模块，使用脉冲形式的查询、键和值来混合稀疏视觉特征，与之前的类 SNN 框架相比，在许多数据集上呈现出最先进的性能。该论文证明了 Spikformer 架构可以通过将 SSA 替换为非参数化的线性变换（LT），如傅里叶和小波变换，来加速。这些变换被用于混合脉冲序列，将二次时间复杂度降低为对数线性时间复杂度。它们在频率和时间域之间交替提取稀疏视觉特征，展示了强大的性能和效率。我们在使用神经形态学和静态数据集进行图像分类方面进行了广泛的实验。结果表明，与具有 SSA 的最先进的 Spikformer 相比，具有 LT 的 Spikformer 在神经形态学数据集上实现了更高的 Top-1 准确率，并且在静态数据集上实现了可比较的 Top-1 准确率。此外，与需要可学习参数的 SSA 相比，具有 LT 的 Spikformer 实现了约 29％至 51％的训练速度提升，61％至 70％的推断速度提升，并且减少了 4％至 26％的内存使用量。

    Aug, 2023

  • SpikeGPT：使用脉冲神经网络的预训练生成语言模型

    本文提出了基于 SNN 的生成语言模型 SpikeGPT，利用二进制、SNN 的事件驱动稀疏激活单元，将传统的注意力机制修改为逐步输入机制，并在多个数据集上验证了其性能与能耗，结果表明 SpikeGPT 在处理自然语言生成任务时表现出色并且能耗显著降低。

    Feb, 2023

  • 随机尖峰注意力：在尖峰网络中利用随机计算加速注意力

    通过利用随机计算（SC）执行基于脉冲神经网络（SNN）的 Transformer 模型的点积注意力机制，实现高准确率和能源效率。

    Feb, 2024

  • 在脉冲神经网络中学习长序列

    通过与时空模型的交叉研究，本文探索了脉冲神经网络在长范围序列建模方面的潜力，并证明其在各种任务和图像分类方面均优于当前最先进的神经网络模型，为在神经形态学硬件上实现高效能耗的长范围序列建模奠定了基础。

    Dec, 2023