BriefGPT.xyz
大模型
Ask
alpha
关键词
outlier reservation scheme
搜索结果 - 1
CLAQ:推动 LLM 的低比特后训练量化极限
该论文介绍了一种基于列级适应性权重量化(CLAQ)框架的参数量化方法,通过引入三种不同的自适应策略,可以在大规模语言模型中减少内存占用和提高计算效率。实验结果表明,在不同比特设置下,尤其是在极低比特情况下,该方法能够取得最先进的结果。
PDF
a month ago
Prev
Next