该论文介绍了一种方法，用于将 LoRA 适配器适应于任意下游任务的小型语言模型。与标准的专家混合结构不同，我们的方法使用无梯度路由函数来选择加权组合的专家，而不会增加训练或推断的计算要求。结果表明，LoRA 适配器的标记级适应性在数学（GSM8K）、科学（ARC-Challenge）、阅读理解（SQuAD）和编码（CodeAlpaca-20k）任务中优于基础的 Llama-2-7b 模型。进一步评估还表明，标记级适应性的平均性能优于为每个任务微调的单个模型，推断过程中每隔一个标记适应性的表现最佳。本研究的代码通过公共代码库提供。

Nov, 2023

通过使用 S-LoRA 系统，可以在单个 GPU 上或多个 GPU 上以较小的开销提高吞吐量并使 LoRA 适配器的数量成倍增加，从而实现可伸缩的运行多个 Fine-tuned 模型的服务。

Nov, 2023

基于 LoRA 适应性技术的深层令牌级方法，应用于大型语言模型，通过隐藏状态动态混合适应层，实现不同能力的组合，适用于各种现有的大型语言模型，主要聚焦于生物材料分析和蛋白质力学设计。

Feb, 2024

提出了一种基于 LoRA 的资源高效稀疏 MoE 模型构建方法，名为 MixLoRA，能够在消费级 GPU 上实现多个专家模型的并行微调，减少了 GPU 内存消耗 41% 和训练过程中的延迟 17%。

Apr, 2024

本文提出了一种名为 Dynamic Low-Rank Adaptation 的技术，旨在通过训练预训练模型的适配器模块，为多个秩数建立动态搜索免费的模型，并证明该方法可以显著加快训练速度并在 GLUE 基准测试中取得一致的优秀表现。

Oct, 2022

通过压缩使用共享基础和 LoRA 特定缩放矩阵对 LoRAs 进行服务，可以提高吞吐量并保持性能的 75%。

Jun, 2024

我们介绍了 HeteroLoRA，这是一种轻量级的搜索算法，通过利用零成本代理在模型中分配有限的 LoRA 可训练参数，以提高微调性能，并在更具挑战性的搜索空间中展示了 HeteroLoRA 的有效性。

Jun, 2024

通过设置适当的比率为 LoRA 适配器矩阵 A 和 B 设置不同的学习率，我们提出了一种名为 LoRA$+$ 的算法，解决了 LoRA 的次优问题同时提高了性能（1-2％改进）和微调速度（最高约 2 倍速度提升）的问题。

Feb, 2024

通过研究不同任务的共享参数模型训练器的可重复使用性，我们调研了如何根据多任务数据构建最佳适配器库，并设计了通过库中的路由进行零样本和监督任务泛化的技术。我们对构建适配器库的现有方法进行了基准测试，并引入了基于模型的聚类方法 MBC，通过间接优化跨多任务数据集的传输来分组任务。为了重复使用该库，我们提出了一种新颖的零样本路由机制 Arrow，它能够动态选择最相关的适配器用于新的输入，无需重新训练。我们在多种大型语言模型（LLMs），如 Phi-2 和 Mistral 上进行了实验，针对大量保留任务验证了基于 MBC 的适配器和 Arrow 路由在新任务的泛化性上的卓越表现。我们迈出了创建模块化、适应性强、能够与传统联合训练不相上下甚至超越的 LLMs 的步伐。

May, 2024

采用 RankAdaptor 的分层动态秩调度方法，有效地微调剪枝的大型语言模型 (LLM)，在不增加训练参数的情况下，进一步减小剪枝模型恢复精度与原始模型之间的性能差距。

Jun, 2024