Jun, 2024

ShiftAddLLM:通过后期训练的无乘法重参数化加速预先训练的 LLMs

TL;DR本研究提出了一种通过后期训练的 ShiftAndAddLLM 来加速预训练的大型语言模型,通过将每个权重矩阵量化为与分组缩放因子配对的二进制矩阵,并将与二进制矩阵相关的乘法重新参数化为在激活和缩放因子之间进行的移位和加法操作,以减少内存使用和延迟,并且通过多目标优化方法来最小化权重和输出激活重新参数化误差,进一步降低了精度损失。