脉冲驱动 Transformer V2：元脉冲神经网络架构启发下一代神经形态芯片的设计

ICLRFeb, 2024

脉冲驱动 Transformer V2：元脉冲神经网络架构启发下一代神经形态芯片的设计

Spike-driven Transformer V2: Meta Spiking Neural Network Architecture Inspiring the Design of Next-generation Neuromorphic Chips

PDF

Man Yao, Jiakui Hu, Tianxiang Hu, Yifan Xu, Zhaokun Zhou...

TL;DR通过提出一种名为 "Meta-SpikeFormer" 的通用 Transformer 架构，本论文实现了对 CNN-based SNNs 具有压倒性性能优势的低功耗、多功能、高性能、面向未来下一代神经形态芯片设计的 Meta 架构，并应用于分类、检测和分割任务中，取得了 SNN 领域的最佳结果。

Abstract

neuromorphic computing, which exploits Spiking Neural Networks (SNNs) on neuromorphic chips, is a promising energy-efficient alternative to traditional AI. CNN-based SNNs are the current mainstream of neuromorphic compu

neuromorphic computing spike-driven transformer meta-spikeformer snn neuromorphic chip design

发现论文，激发创造

Spikeformer：一种用于训练高性能低延迟脉冲神经网络的新型结构

提出了一种基于 Transformer 的 Spikeformer 方法，它在静态数据集和神经形态数据集上均优于其人工神经网络对应物。为了更好地将注意力机制整合到 Transformer 中，并融合内在于 SNN 的时空信息，采用时空注意力机制。

Nov, 2022

Spikingformer：基于脉冲的剩余学习用于基于 Transformer 的脉冲神经网络

本研究提出了一种硬件友好的、基于残差设计的、全新的、纯变压器型脉冲神经网络 ——Spikingformer，它能够避免非脉冲计算并使能耗降低 60.34％。Spikingformer 在图像分类任务的表现优于之前的纯 SNN，并且是首次开发出全脉冲驱动的变压器型 SNN。

Apr, 2023

Spikformer V2：使用 SNN 特征进行 ImageNet 高精度计算

通过结合自注意能力和生物特性，本论文提出了一种新颖的脉冲自注意 (SSA) 和脉冲变换器 (Spikformer)，其中 SSA 机制消除了 softmax 的需求，利用基于脉冲的查询、键和值实现了稀疏视觉特征的捕获，而 SCS 则用于增强 Spikformer 的架构。通过自监督学习 (SLS) 实现对更大、更深的 Spikformer V2 的训练，实验证明此方法在 ImageNet 上的分类准确性超过了其他方法，且 SNN 首次在 ImageNet 上达到超过 80% 的准确性。

Jan, 2024

脉冲驱动的 Transformer

本文提出了一种基于 Spike-driven Transformer 的神经网络，其具有事件驱动、自注意力、二进制尖峰通讯等特点，从而实现了能效更高的深度学习，并在 ImageNet-1K 数据集上取得了 77.1% 的 top-1 准确率。

Jul, 2023

生物启发计算与深度学习的相遇：从人工神经网络到低延迟、准确、高能效的脉冲神经网络

通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法，我们提出了一种新的 ANN 转 SNN 框架，可以以极低的时间步和高级稀疏性实现无损 SNN，低延迟，低计算能耗和高测试准确性（例如，ImageNet 数据集上只有 4 个时间步的准确率为 73.30%）。

Dec, 2023

提高前馈神经网络在脉冲神经形态芯片中的分类准确性

使用新的二进制硬件跨棒学习算法实现深度神经网络在 TrueNorth 芯片上的部署，可在以前工作的基础上实现显著提高（76％与 86％准确度）同时保持良好的性能 MNIST 手写数据集。

May, 2017

低功耗神经形态处理硬件

本文回顾了构建新一类仿效人脑以时间编码和处理信息的信息处理引擎所涉及的一些体系结构和系统级设计方面，以解决能效问题。

Jan, 2019

脉冲神经网络的神经结构搜索

本文利用神经结构搜索技术，提出了一种新型的神经元架构设计方法，以在时序处理、二进制信息传输等方面提高脉冲神经网络（SNN）的性能，实验结果表明，所创建的 SNASNet 结构在多项图像识别测试中表现出优秀的性能，且具有高效能的特性。

Jan, 2022

SDiT：具有 Transformer 的脉冲扩散模型

本研究探索了一种新的扩散模型结构，利用变压器替代传统扩散模型中常用的 U-net 结构，以提供基于脉冲神经网络的生成模型的实证基线。实验结果表明，所提出的方法在 MNIST，Fashion-MNIST 和 CIFAR-10 数据集上与现有的脉冲神经网络生成模型具有很高的竞争力。

Feb, 2024

SpikingResformer: 在脉冲神经网络中连接 ResNet 和 Vision Transformer

提出了一种名为 Dual Spike Self-Attention (DSSA) 的新型脉冲自注意机制以及相应的 Spiking Neural Networks 架构，命名为 SpikingResformer，通过将 ResNet-based 多阶段架构与 DSSA 相结合，提高了性能和能源效率，同时减少了参数。实验结果表明，相比其他脉冲式 Vision Transformer，SpikingResformer 在 ImageNet 上以 4 个时间步长获得了 79.40% 的 top-1 准确率，为该领域的最新成果。

Mar, 2024