Feb, 2024
通过信息保留实现 LLMs 的精确 LoRA 微调量化
Accurate LoRA-Finetuning Quantization of LLMs via Information Retention
Haotong Qin, Xudong Ma, Xingyu Zheng, Xiaoyang Li, Yang Zhang...
TL;DR该论文提出了一种新颖的 IR-QLoRA 技术,通过信息保留实现了对量化 LLMs 的高精度,综合实验证明 IR-QLoRA 能显著提高 LLaMA 和 LLaMA2 系列的准确性,在 2-4 位宽下与现有方法相比,4 位 LLaMA-7B 的 MMLU 提高了 1.4%,时间开销仅增加了 0.31%。