Mar, 2024
IntactKV:通过保持关键标记完整来提高大型语言模型量化
IntactKV: Improving Large Language Model Quantization by Keeping Pivot Tokens Intact
Ruikang Liu, Haoli Bai, Haokun Lin, Yuening Li, Han Gao...
TL;DR该研究揭示了大语言模型中一种被忽视的异常值类型,这些异常值在输入的初始符号上分配了大部分的注意力得分,并且通过提出 IntactKV 的方法从完全精确的模型中无损生成了初始符号的 KV 缓存,进而提升了量化的大语言模型的性能。