用于细调的 Rank 稳定化缩放因子及其 LoRA 方法
通过 AB-LoRA 方法,逐步修剪过多和负面影响的 LoRA 排名,并将修剪后的 LoRA 预算分配给需要更高排名的重要 Transformer 模块,实现了分配低秩适应 (ALoRA) 的灵活下游任务适应方法。实验结果表明,ALoRA 方法在可调参数相当的情况下优于最近的基准模型。
Mar, 2024
MELoRA 是一种采用较少可训练参数但保持较高秩的迷你低秩适配器,用于针对预训练大型语言模型进行性能优化的方法。实验证明,在自然语言理解和指令跟随任务上,相较于低秩适配器 LoRA,MELoRA 在拥有 8 倍较少可训练参数时表现更好,而在指令跟随任务上拥有 36 倍较少可训练参数时也表现更好,证明了 MELoRA 的有效性。
Feb, 2024
通过设置适当的比率为 LoRA 适配器矩阵 A 和 B 设置不同的学习率,我们提出了一种名为 LoRA$+$ 的算法,解决了 LoRA 的次优问题同时提高了性能(1-2%改进)和微调速度(最高约 2 倍速度提升)的问题。
Feb, 2024
PRILoRA 通过在线性分配不同的秩给每一层并在训练过程中进行剪枝,考虑到权重的临时大小和给定层的输入的累积统计信息,验证了其在八个 GLUE 基准测试中的有效性,取得了最新的技术成果。
Jan, 2024
LoRA 是一种使用较少参数和内存的训练方法,研究表明,在低秩适配器的支持下,LoRA fine-tuned 模型在多个任务上表现超过基准模型 34 个百分点和 GPT-4 10 个百分点;此外,他们开发了 LoRAX 多模型推理服务器,支持多个 LoRA fine-tuned 模型在单个 GPU 上运行,以展示使用多个专用 LLM 相对于单个通用 LLM 的质量和成本效益。
Apr, 2024
介绍了一种新的参数高效微调方法 LoRA-XS,利用奇异值分解(SVD)在参数高效微调方面取得显著的结果,特别是在较大模型上,比 LoRA 和 VeRA 等最新方法更具参数效率同时保持竞争性能。
May, 2024
使用低秩适应(LoRA)参数有效的微调方法,通过分析其表达能力和近似误差,证明了 LoRA 方法能够将预训练模型适应到较小目标模型,并适用于全连接神经网络和 Transformer 网络。
Oct, 2023
提出了一种增量参数分配方法 IncreLoRA,通过根据每个模块的重要性得分,在训练期间自适应地添加可训练参数,以应对有限训练条件下参数剪枝的限制,实现更高的参数效率,并在低资源设置下显著优于基准方法。
Aug, 2023
本研究探讨了一种改进的 LoRA 优化方法,称为 PeriodicLoRA(PLoRA),通过多次积累低秩更新矩阵来提高更新秩,并引入一种基于动量的卸载策略以减轻训练不稳定性。实验结果表明,PLoRA 具有更强的学习能力,最高可达到 LoRA 学习能力的 1.8 倍,但不增加内存使用。
Feb, 2024