BriefGPT.xyz
大模型
Ask
alpha
关键词
shift-and-add reparameterization
搜索结果 - 1
ShiftAddLLM:通过后期训练的无乘法重参数化加速预先训练的 LLMs
本研究提出了一种通过后期训练的 ShiftAndAddLLM 来加速预训练的大型语言模型,通过将每个权重矩阵量化为与分组缩放因子配对的二进制矩阵,并将与二进制矩阵相关的乘法重新参数化为在激活和缩放因子之间进行的移位和加法操作,以减少内存使用
→
PDF
24 days ago
Prev
Next