Jan, 2024
大型语言模型的极端压缩:基于加性量化
Extreme Compression of Large Language Models via Additive Quantization
Vage Egiazarian, Andrei Panferov, Denis Kuznedelev, Elias Frantar, Artem Babenko...
TL;DR该研究中,我们将经典的多码本量化方法应用于语言模型的压缩,实现了对开放式大规模语言模型的极端压缩,提高了在给定压缩预算下的准确性。