LoRA-XS:低秩适应与极小参数
通过使用 “divide-and-share” 范式并引入向量库,VB-LoRA 实现了极高的参数效率同时保持与当前最先进 PEFT 方法相当甚至更好的性能。
May, 2024
在对大规模预训练语言模型进行提升调优的过程中,我们通过引入稀疏低秩适应性的创新方法(SoRA),使得适应过程中能够动态地调整内在秩,从而提高 LoRA 的表现能力,同时通过更新稀疏方式高效地控制参数数量。实验结果表明,SoRA 在保留 70% 参数和训练时间的情况下,能够胜过其他基准模型。
Nov, 2023
我们提出了一种新颖的 PEFT 方法,名为 RoseLoRA,该方法通过行列稀疏的低秩自适应来识别和更新特定任务中最重要的参数,从而在保持效率的同时保留其他模型的知识。
Jun, 2024
本文提出了一种低秩适应方法(Low-Rank Adaptation,简称 LoRA),通过将可训练秩分解矩阵注入变压器结构的每个层中,极大地减少了下游任务中的可训练参数,并且性能与微调相当或更好,同时具有更高的训练吞吐量和没有额外推理延迟,这解决了大规模预训练模型对于微调参数和 GPU 内存占用过高的问题。
Jun, 2021
通过修改 Low-Rank Adapters 方法中的缩放因子,我们提出了一种称为 rank-stabilized LoRA (rsLoRA) 的方法,可以在训练期间用更多的计算资源来换取更好的 fine-tuning 性能,并且在推理计算成本不变的情况下实现了 fine-tuning 计算性能的折中。
Nov, 2023
OLoRA 是对 LoRA 方法的增强,利用 QR 分解通过正交矩阵初始化来加速 LLM 训练的收敛速度,同时保留 LoRA 的高效特性,例如可训练参数数量和 GPU 内存占用,实证评估结果显示,OLoRA 不仅收敛更快,而且在各种语言建模任务上表现出更好的性能,为 LLM 的精细调整提供了更高效和可访问性的可能,从而促进自然语言应用的广泛采用和创新。
Jun, 2024
使用低秩适应(LoRA)参数有效的微调方法,通过分析其表达能力和近似误差,证明了 LoRA 方法能够将预训练模型适应到较小目标模型,并适用于全连接神经网络和 Transformer 网络。
Oct, 2023
LoRA 是一种使用较少参数和内存的训练方法,研究表明,在低秩适配器的支持下,LoRA fine-tuned 模型在多个任务上表现超过基准模型 34 个百分点和 GPT-4 10 个百分点;此外,他们开发了 LoRAX 多模型推理服务器,支持多个 LoRA fine-tuned 模型在单个 GPU 上运行,以展示使用多个专用 LLM 相对于单个通用 LLM 的质量和成本效益。
Apr, 2024
本文提出了一种名为 Dynamic Low-Rank Adaptation 的技术,旨在通过训练预训练模型的适配器模块,为多个秩数建立动态搜索免费的模型,并证明该方法可以显著加快训练速度并在 GLUE 基准测试中取得一致的优秀表现。
Oct, 2022
本研究探讨了一种改进的 LoRA 优化方法,称为 PeriodicLoRA(PLoRA),通过多次积累低秩更新矩阵来提高更新秩,并引入一种基于动量的卸载策略以减轻训练不稳定性。实验结果表明,PLoRA 具有更强的学习能力,最高可达到 LoRA 学习能力的 1.8 倍,但不增加内存使用。
Feb, 2024