SpikeGPT：使用脉冲神经网络的预训练生成语言模型

Feb, 2023

SpikeGPT：使用脉冲神经网络的预训练生成语言模型

SpikeGPT: Generative Pre-trained Language Model with Spiking Neural Networks

Rui-Jie Zhu, Qihang Zhao, Jason K. Eshraghian

TL;DR本文提出了基于 SNN 的生成语言模型 SpikeGPT，利用二进制、SNN 的事件驱动稀疏激活单元，将传统的注意力机制修改为逐步输入机制，并在多个数据集上验证了其性能与能耗，结果表明 SpikeGPT 在处理自然语言生成任务时表现出色并且能耗显著降低。

Abstract

As the size of large language models continue to scale, so does the computational resources required to run it. spiking neural networks (SNNs) have emerged as an energy-efficient approach to deep learning that leverage sparse and event-driven activations to reduce the computational ove

spiking neural networks generative language model binary activation units transformer block energy consumption

发现论文，激发创造

用于文本分类的脉冲卷积神经网络

本研究介绍了一种用于文本分类的 “转换 + 微调” 两步方法，提出了一种将预训练词嵌入编码为脉冲训练的简单而有效的方式，并经验证通过使用替代梯度进行微调后，这些转换后的脉冲神经网络在英文和中文数据集上能够以更少的能量消耗与深度神经网络有可比较的结果，并且这样的脉冲神经网络比深度神经网络更鲁棒抵御对抗性攻击。

Jun, 2024

SpikeLM: 基于弹性双脉冲机制的通用脉冲驱动语言建模

向类似人脑的高能效人工智能迈进，生物启发的脉冲神经网络（SNN）具有生物合理性、事件驱动的稀疏性和二值激活的优势。本文提出了首个全脉冲机制，以处理包括鉴别性和生成性任务在内的一般性语言任务。与现有 SNN 中的二值脉冲不同，我们提出了一种具有双向、弹性幅度和弹性频率编码的更一般的脉冲形式，同时仍然保持了 SNN 的加法性质。在单个时间步内，脉冲通过方向和幅度信息增强；在脉冲频率方面，我们设计了一种控制脉冲发射率的策略。我们将这种弹性双脉冲机制应用于语言建模，命名为 SpikeLM。这是首次使用全脉冲驱动模型处理一般性语言任务，其准确性远高于以前可能的水平。SpikeLM 还极大地弥合了 SNN 和 ANN 在语言建模方面的性能差距。我们的代码可在此网址上获得：https:// 此 URL。

Jun, 2024

使用优化效率和最小延迟的通用脉冲神经网络训练

提出了一个通用的训练框架，提高了有限时间步长内特征学习和激活效率，为更节能的 SNN 提供了新的解决方案。

Jan, 2024

基于 SpiNNaker 2 神经形态芯片的语言建模

这项研究实现了首个基于神经形态学设备的语言模型，在 SpiNNaker 2 芯片上基于一个名为 EGRU 的最新事件驱动架构。该实现标志着神经形态学语言模型首次能与 LSTM 相媲美，为将任务性能提升到大型语言模型水平奠定了基础。

Dec, 2023

Spikingformer：基于脉冲的剩余学习用于基于 Transformer 的脉冲神经网络

本研究提出了一种硬件友好的、基于残差设计的、全新的、纯变压器型脉冲神经网络 ——Spikingformer，它能够避免非脉冲计算并使能耗降低 60.34％。Spikingformer 在图像分类任务的表现优于之前的纯 SNN，并且是首次开发出全脉冲驱动的变压器型 SNN。

Apr, 2023

脉冲驱动的 Transformer

本文提出了一种基于 Spike-driven Transformer 的神经网络，其具有事件驱动、自注意力、二进制尖峰通讯等特点，从而实现了能效更高的深度学习，并在 ImageNet-1K 数据集上取得了 77.1% 的 top-1 准确率。

Jul, 2023

大型语言模型和 ChatGPT 的循环脉冲神经网络的 Verilog 设计

探索使用大型语言模型（LLMs）自动生成硬件描述代码的潜力，以支持和增强高效的神经形态计算架构的开发，并通过三个案例研究验证其可行性和实施性。

May, 2024

Spiking-GAN：使用首次尖峰编码的脉冲生成对抗网络

本文提出了一种使用时间编码和近似反向传播训练的基于脉冲神经网络的生成对抗网络，命名为 Spiking-GAN，实验证明其在 MNIST 数据集上生成高质量样本的潜力。

Jun, 2021

SparseGPT：一次修剪即可在大型语言模型上进行精准压缩

本文提出了一种名为 SparseGPT 的新型剪枝方法，能够高效、准确地应用于海量的 GPT 模型，实现一次性稀疏化至少 50％，并在几乎不影响困惑度的情况下，将最大可用的开源模型 OPT-175B 和 BLOOM-176B 稀疏化至 60％。

Jan, 2023

脉冲爆发：针对基于事件的视觉任务的高效、高性能 SNNs

通过引入生物神经系统启发的突发 - 尖峰机制、基于帕累托前沿驱动算法的再分配爆发 - 射击模式以及基于层特定敏感性自动定位最佳阈值比率的敏感性驱动尖峰压缩技术，在分类和目标检测方面展示出卓越的性能和降低的能量使用，从而推动了基于事件驱动视觉的脉冲神经网络的进展。

Nov, 2023