通过引入名为 Fast LoRA（FLoRA）的框架，我们可以有效地对多样化和全球用户群体的实时请求进行批处理，通过将每个输入示例与其独特的低秩适应权重关联起来，实现个性化的任务特定适应，从而缓解了 Low-Rank Adaptation (LoRA) 在处理多个任务特定适配器时的性能瓶颈。我们在包括 8 种语言的 MultiPL-E 代码生成基准和 6 种语言的多语种语音识别任务上，通过实证展示了 FLoRA 保持 LoRA 性能优点的竞争结果。
Dec, 2023
使用低秩适应（LoRA）参数有效的微调方法，通过分析其表达能力和近似误差，证明了 LoRA 方法能够将预训练模型适应到较小目标模型，并适用于全连接神经网络和 Transformer 网络。
Oct, 2023
通过 Fourier 变换进一步压缩可训练参数，用于精细调整基础模型，以达到与 LoRA 相当甚至更好的性能表现，但参数数量更少。
May, 2024
通过 AB-LoRA 方法，逐步修剪过多和负面影响的 LoRA 排名，并将修剪后的 LoRA 预算分配给需要更高排名的重要 Transformer 模块，实现了分配低秩适应 (ALoRA) 的灵活下游任务适应方法。实验结果表明，ALoRA 方法在可调参数相当的情况下优于最近的基准模型。
Mar, 2024
通过设置适当的比率为 LoRA 适配器矩阵 A 和 B 设置不同的学习率，我们提出了一种名为 LoRA$+$ 的算法，解决了 LoRA 的次优问题同时提高了性能（1-2％改进）和微调速度（最高约 2 倍速度提升）的问题。
Feb, 2024
LoRA-FA 采用低内存量的权重更新方式，用于大型语言模型的微调，具有接近完整参数微调的准确性，降低了内存使用，技术优化了 LoRA。
Aug, 2023
通过权重分解分析和 LoRA 方法的聚焦更新，DoRA 方法在保持低成本细调的基础上增强了学习能力和训练稳定性，对各种常识推理、视觉指导调整和图像 / 视频 - 文本理解等不同下游任务，超越了 LoRA 方法。
通过修改 Low-Rank Adapters 方法中的缩放因子，我们提出了一种称为 rank-stabilized LoRA (rsLoRA) 的方法，可以在训练期间用更多的计算资源来换取更好的 fine-tuning 性能，并且在推理计算成本不变的情况下实现了 fine-tuning 计算性能的折中。
Nov, 2023
在隐私保护联邦学习中，本文提出了一种高效且有效的低秩适应方法 FFA-LoRA，通过固定非零矩阵并仅微调零矩阵，缓解了数据异构性、差分隐私增强噪声放大以及超参数敏感性等挑战，同时将通信成本减半，并在各种联邦学习任务中展现了更一致的性能和更好的计算效率。
在此研究中，我们展示了 Low-Rank Adaptation 方法在从头开始训练小尺寸视觉模型的联邦学习中的应用，通过提出一种聚合不可知方法 FLoCoRA，我们证明该方法能够减少通信成本 4.8 倍，并且对于具有 ResNet-8 模型的 CIFAR-10 分类任务的准确度损失小于 1%。同时，我们还展示了通过引入仿射量化方案扩展该方法，将通信成本缩减 18.6 倍，与标准方法相比，对于 ResNet-18 模型的测试仍然保持不到 1% 的准确度损失。我们的研究在消息大小减小方面提供了一个强有力的基准，甚至与传统的模型压缩方法相比，同时还减少了由于低秩适应所需的训练内存。
Jun, 2024