Jun, 2024
CDQuant: 使用贪婪协调下降的准确大型预训练模型的训练后权重量化
CDQuant: Accurate Post-training Weight Quantization of Large Pre-trained Models using Greedy Coordinate Descent
Pranav Ajit Nair, Arun Sai Suggala
TL;DRCDQuant 是一个简单且可扩展的替代 GPTQ 的算法,使用坐标下降法来实现高质量的量化权重,通过在 PaLM2 模型系列上进行广泛评估,我们证明 CDQuant 在各种模型规模和量化级别下始终优于 GPTQ。