May, 2024
SVFT:具有奇异向量的参数高效微调
SVFT: Parameter-Efficient Fine-Tuning with Singular Vectors
Vijay Lingam, Atula Tejaswi, Aditya Vavre, Aneesh Shetty, Gautham Krishna Gudur...
TL;DR通过在参数更新中使用矩阵的稀疏组合,SVFT 方法在仅使用 0.006% 到 0.25% 的可训练参数时,能够恢复高达 96% 的全面微调性能,超过了仅使用 0.03% 到 0.8% 的可训练参数预算恢复的最高 85% 性能。