Feb, 2024
大型语言模型的零数据压缩和降噪
Data-freeWeight Compress and Denoise for Large Language Models
Runyu Peng, Yunhua Zhou, Qipeng Guo, Yang Gao, Hang Yan...
TL;DR基于大型语言模型的权重分解以及压缩方法,通过新的无需语料库参与、保持正交性的数据无关联 Rank-k 近似方法,成功压缩了 80% 的参数并保留了原始性能的 93.43%。同时,对经过 Rank-k 近似的权重矩阵进行了深入研究以验证假设。