Feb, 2025

AdaSVD:用于大型语言模型的自适应奇异值分解

TL;DR本研究解决了大型语言模型在资源受限设备上的内存需求高的问题,提出了自适应奇异值分解方法AdaSVD。该方法通过交替更新奇异矩阵来补偿奇异值分解截断误差,并根据各层的重要性动态分配压缩比例。实验表明,AdaSVD在内存效率和性能上均优于现有的最先进方法,具有显著的实用价值。