BriefGPT.xyz
大模型
Ask
alpha
关键词
mixture-of-subspaces lora
搜索结果 - 1
低秩适应中的子空间混合
本文介绍了一种基于子空间的低秩适应方法(LoRA),该方法在计算效率、实施简易性和适用性方面具有优势,可广泛应用于大型语言、多模态和扩散模型;通过子空间的微观视角,我们发现混合两个子空间可以提升性能,并通过与原始 LoRA 权重共同学习混合
→
PDF
18 days ago
Prev
Next