BriefGPT.xyz
Jul, 2024
Q-Sparse: 所有大型语言模型可以完全稀疏激活
Q-Sparse: All Large Language Models can be Fully Sparsely-Activated
HTML
PDF
Hongyu Wang, Shuming Ma, Ruiping Wang, Furu Wei
TL;DR
我们介绍了一种名为Q-Sparse的简单而有效的方法，用于训练稀疏激活的大型语言模型（LLMs），可以在推理过程中带来显著的效率提升。
Abstract
We introduce,
q-sparse
, a simple yet effective approach to training
sparsely-activated large language models
(LLMs).
q-sparse
enables full
→