Jul, 2024
SpikeLLM:基于显著性的脉冲神经网络扩展到大型语言模型
SpikeLLM: Scaling up Spiking Neural Network to Large Language Models via
Saliency-based Spiking
TL;DR通过使用生物合理的脉冲机制,我们提出了一种名为SpikeLLM的新型脉冲型大型语言模型,结合了一种名为Optimal Brain Spiking的新型脉冲驱动量化框架,以降低能量消耗并加速推理速度。通过实验证明,SpikeLLM在不同数据集上的表现优于其他类似方法。