Feb, 2025

一步全梯度足以进行低秩微调,证明有效

TL;DR本研究针对低秩适应(LoRA)性能提升问题,通过理论分析发现,使用特定的谱初始化策略的预调节LoRA能够与某些子空间对齐,并在初始化阶段直接实现对齐和泛化保证。此外,提出的LoRA-One算法在多个基准测试中显著优于普通LoRA及其变种,具有重要的实证改进和理论意义。