该研究介绍了一种新型自适应尖峰循环神经网络，能够在边缘人工智能硬件上实现比其他尖峰神经网络更高的性能，几乎达到或超过经典递归神经网络的性能，并展示了在更难的任务上超过经典递归神经网络的$>$100倍能量改进。

May, 2020

通过定义一个无不良设计选择的搜索空间并引入考虑准确性和脉冲数量的适应性函数，我们提出一种称为AutoSNN的脉冲感知神经架构搜索框架，成功搜索出了在准确性和能量效率方面优于手工设计的SNN的架构。

Jan, 2022

本文提出了基于SNN的生成语言模型SpikeGPT，利用二进制、SNN的事件驱动稀疏激活单元，将传统的注意力机制修改为逐步输入机制，并在多个数据集上验证了其性能与能耗，结果表明SpikeGPT在处理自然语言生成任务时表现出色并且能耗显著降低。

Feb, 2023

我们提出了TransNormerLLM，这是第一个基于线性注意力的大型语言模型（LLM），在准确性和效率方面均超过了传统的基于softmax注意力的模型。

Jul, 2023

通过自适应通道重组技术，QLLM提出了一种准确高效的低精度模型量化方法，实现了对大规模语言模型的低精度量化，并在LLaMA-2上相较于之前最先进的方法提高了7.89%的平均准确率。

Oct, 2023

本研究旨在通过使用闪存将模型参数存储在DRAM之外，以满足超过DRAM容量的大型语言模型（LLMs）的高效运行需求。本文提出了两种主要技术，即通过重新使用已激活的神经元来减少数据传输的“窗口化”与利用闪存的顺序数据访问能力来增加数据块大小的“行列捆绑”。这些方法使得模型能够在可用DRAM容量的两倍大小的情况下运行，并在与传统加载方法相比，CPU和GPU分别实现4-5倍和20-25倍的推理速度提升。本研究通过结合稀疏感知、上下文自适应加载和面向硬件的设计，为在内存有限的设备上进行有效的LLMs推理铺平了道路。

Dec, 2023

向类似人脑的高能效人工智能迈进，生物启发的脉冲神经网络（SNN）具有生物合理性、事件驱动的稀疏性和二值激活的优势。本文提出了首个全脉冲机制，以处理包括鉴别性和生成性任务在内的一般性语言任务。与现有SNN中的二值脉冲不同，我们提出了一种具有双向、弹性幅度和弹性频率编码的更一般的脉冲形式，同时仍然保持了SNN的加法性质。在单个时间步内，脉冲通过方向和幅度信息增强；在脉冲频率方面，我们设计了一种控制脉冲发射率的策略。我们将这种弹性双脉冲机制应用于语言建模，命名为SpikeLM。这是首次使用全脉冲驱动模型处理一般性语言任务，其准确性远高于以前可能的水平。SpikeLM还极大地弥合了SNN和ANN在语言建模方面的性能差距。我们的代码可在此网址上获得：https://此URL。

Jun, 2024

使用ShadowLLM预测器可实现更好的稀疏模式，提高15%的准确率，同时减少20%的延迟，验证了具有300亿参数的模型。

Jun, 2024

本研究解决了脉冲神经网络在长序列任务上的应用不足问题，提出了脉冲状态空间模型（SpikingSSMs），结合了状态空间模型的序列学习能力。研究结果表明，SpikingSSM在长范围基准任务中性能媲美先进的状态空间模型，同时实现了90%的网络稀疏性，并在语言建模任务中以较小的模型尺寸显著超越现有的脉冲大型语言模型，显示出其作为低计算成本LLM骨干架构的潜力。

Aug, 2024

本研究解决了在边缘设备上部署大型语言模型（LLM）时面临的计算和内存要求问题。提出了一种新的激活稀疏化方法CHESS，通过通道阈值和选择性稀疏化优化激活决策。实验表明，CHESS在保持性能的同时，较现有方法降低了参数激活数量，从而实现了最高1.27倍的推理加速。

Sep, 2024