May, 2024
OAC:用于准确的训练后量化的输出自适应校准
OAC: Output-adaptive Calibration for Accurate Post-training Quantization
Ali Edalati, Alireza Ghaffari, Masoud Asgharian, Lu Hou, Boxing Chen...
TL;DR大语言模型的压缩和量化是一项重要的研究领域,本文提出了一种输出自适应校准的方法,用于减少压缩和量化过程中的信息损失,并在极低精度量化方面取得了优于现有方法的表现。