May, 2024
CLAQ:推动 LLM 的低比特后训练量化极限
CLAQ: Pushing the Limits of Low-Bit Post-Training Quantization for LLMs
Haoyu Wang, Bei Liu, Hang Shao, Bo Xiao, Ke Zeng...
TL;DR该论文介绍了一种基于列级适应性权重量化(CLAQ)框架的参数量化方法,通过引入三种不同的自适应策略,可以在大规模语言模型中减少内存占用和提高计算效率。实验结果表明,在不同比特设置下,尤其是在极低比特情况下,该方法能够取得最先进的结果。