Jan, 2024

Spikformer V2：使用 SNN 特征进行 ImageNet 高精度计算

PDF
TL;DR通过结合自注意能力和生物特性，本论文提出了一种新颖的脉冲自注意 (SSA) 和脉冲变换器 (Spikformer)，其中 SSA 机制消除了 softmax 的需求，利用基于脉冲的查询、键和值实现了稀疏视觉特征的捕获，而 SCS 则用于增强 Spikformer 的架构。通过自监督学习 (SLS) 实现对更大、更深的 Spikformer V2 的训练，实验证明此方法在 ImageNet 上的分类准确性超过了其他方法，且 SNN 首次在 ImageNet 上达到超过 80% 的准确性。
spiking neural networksself-attentionspiking self-attentionspiking transformerself-supervised learning
发现论文，激发创造
  • Spikeformer：一种用于训练高性能低延迟脉冲神经网络的新型结构

    提出了一种基于 Transformer 的 Spikeformer 方法，它在静态数据集和神经形态数据集上均优于其人工神经网络对应物。为了更好地将注意力机制整合到 Transformer 中，并融合内在于 SNN 的时空信息，采用时空注意力机制。

    Nov, 2022

  • 无注意力 Spikformer: 将脉冲序列与简单线性转换混合

    通过将自注意力能力和脉冲神经网络（SNNs）的生物特性相结合，Spikformer 将蓬勃发展的 Transformer 架构应用于 SNN 设计。它引入了脉冲自注意力（SSA）模块，使用脉冲形式的查询、键和值来混合稀疏视觉特征，与之前的类 SNN 框架相比，在许多数据集上呈现出最先进的性能。该论文证明了 Spikformer 架构可以通过将 SSA 替换为非参数化的线性变换（LT），如傅里叶和小波变换，来加速。这些变换被用于混合脉冲序列，将二次时间复杂度降低为对数线性时间复杂度。它们在频率和时间域之间交替提取稀疏视觉特征，展示了强大的性能和效率。我们在使用神经形态学和静态数据集进行图像分类方面进行了广泛的实验。结果表明，与具有 SSA 的最先进的 Spikformer 相比，具有 LT 的 Spikformer 在神经形态学数据集上实现了更高的 Top-1 准确率，并且在静态数据集上实现了可比较的 Top-1 准确率。此外，与需要可学习参数的 SSA 相比，具有 LT 的 Spikformer 实现了约 29％至 51％的训练速度提升，61％至 70％的推断速度提升，并且减少了 4％至 26％的内存使用量。

    Aug, 2023

  • SpikingResformer: 在脉冲神经网络中连接 ResNet 和 Vision Transformer

    提出了一种名为 Dual Spike Self-Attention (DSSA) 的新型脉冲自注意机制以及相应的 Spiking Neural Networks 架构，命名为 SpikingResformer，通过将 ResNet-based 多阶段架构与 DSSA 相结合，提高了性能和能源效率，同时减少了参数。实验结果表明，相比其他脉冲式 Vision Transformer，SpikingResformer 在 ImageNet 上以 4 个时间步长获得了 79.40% 的 top-1 准确率，为该领域的最新成果。

    Mar, 2024

  • Spikingformer：基于脉冲的剩余学习用于基于 Transformer 的脉冲神经网络

    本研究提出了一种硬件友好的、基于残差设计的、全新的、纯变压器型脉冲神经网络 ——Spikingformer，它能够避免非脉冲计算并使能耗降低 60.34％。Spikingformer 在图像分类任务的表现优于之前的纯 SNN，并且是首次开发出全脉冲驱动的变压器型 SNN。

    Apr, 2023

  • 脉冲驱动 Transformer V2：元脉冲神经网络架构启发下一代神经形态芯片的设计

    通过提出一种名为 "Meta-SpikeFormer" 的通用 Transformer 架构，本论文实现了对 CNN-based SNNs 具有压倒性性能优势的低功耗、多功能、高性能、面向未来下一代神经形态芯片设计的 Meta 架构，并应用于分类、检测和分割任务中，取得了 SNN 领域的最佳结果。

    Feb, 2024

  • 脉冲驱动的 Transformer

    本文提出了一种基于 Spike-driven Transformer 的神经网络，其具有事件驱动、自注意力、二进制尖峰通讯等特点，从而实现了能效更高的深度学习，并在 ImageNet-1K 数据集上取得了 77.1% 的 top-1 准确率。

    Jul, 2023

  • 用于高效视觉分类的 Spikformer 中傅立叶或小波基作为对应的自注意力

    使用峰值傅立叶变换、小波变换及其组合替代传统的自注意力机制，提出了基于峰值或小波的 spikformer（FWformer），在视觉分类任务中验证并表明其能够达到可比甚至更高的准确性（0.4%-1.5%），更快的运行速度（训练速度提高 9%-51%，推理速度提高 19%-70%），降低的理论能耗（降低 20%-25%），以及降低的 GPU 内存使用（降低 4%-26%），相比于标准的 spikformer。结果显示，基于生物发现（峰值形式）或信息理论（傅立叶或小波变换）的新 Transformer 的持续改进是值得期待的。

    Mar, 2024

  • 稀疏 Spikformer：脉冲变换器的令牌和权重剪枝的协同设计框架

    SparseSpikformer 是一种通过令牌和权重修剪技术实现稀疏性的共设计框架，可以显著减少模型参数 90％并减少 20％的 GFLOPs，同时保持原始模型的准确性。

    Nov, 2023

  • SpikeGraphormer：具有脉冲图注意力的高性能图 Transformer

    我们提出了将 SNNs 与 Graph Transformers 相结合的新颖观点，并设计了一个 Spiking Graph Attention (SGA) 模块，通过稀疏加法和掩码操作取代矩阵乘法。我们的 Spiking Graph Attention 模块在大规模图上实现了全对节点交互，并且能够同时捕捉本地邻居。SpikeGraphormer 比现有的方法在各种数据集上表现出色，在训练时间、推断时间和 GPU 内存成本等方面都有显著改进（比普通的 self-attention 低 10-20 倍）。它在跨领域应用（图像和文本分类）中也表现良好。

    Mar, 2024

  • QKFormer: 使用 Q-K Attention 的层次化脉冲变压器

    Spiking Transformers (脉冲变压器) 结合了脉冲神经网络和 Transformer 架构，通过引入一种新的脉冲形式的 Q-K 注意力机制，层次结构和多尺度脉冲表示，以及一种适用于脉冲变压器的通用且强大的补丁嵌入模块，提供了一种直接训练的层次脉冲变压器模型 QKFormer，该模型在多个主流数据集上表现出优越性能，其中在 ImageNet-1K 数据集上取得了 85.65% 的 top-1 准确率，这是直接训练脉冲神经网络在该数据集上首次超过 85% 准确率。

    Mar, 2024