May, 2024
BiSup:大型语言模型的双向量化误差抑制
BiSup: Bidirectional Quantization Error Suppression for Large Language Models
Minghui Zou, Ronghui Guo, Sai Zhang, Xiaowang Zhang, Zhiyong Feng
TL;DR通过构建适当的优化参数空间,BiSup 利用少量的数据进行量化感知参数优化,从而抑制错误的垂直积累,并采用高精度的提示混合精度量化策略以减轻错误的水平扩散。