LoraRetriever 是一个检索后合成的框架，根据输入提示自适应地检索和组合多个 LoRA，实验结果表明 LoraRetriever 始终优于基线模型，突出了其实际效果和通用性。

Feb, 2024

提出了 MultiLoRA，通过减少 LoRA 中观察到的顶层奇异向量的主导性，通过水平扩展 LoRA 模块和改变适应矩阵的参数初始化来减少参数依赖性，从而产生更平衡的单元子空间，从而实现更好的多任务适应性。MultiLoRA 在多个基准和模型规模上优于单个 LoRA 对应项和微调，仅需额外 2.5％的参数。对 MultiLoRA 的权重更新矩阵进行进一步研究表明，其对顶层奇异向量的依赖性减小，单元变换贡献更加均衡。

Nov, 2023

通过解码为中心的视角，本研究提出了两种无需训练的方法：LoRA Switch 和 LoRA Composite，分别通过在去噪步骤中交替使用不同的 LoRA 和同时整合所有的 LoRA，以更好地指导图像合成，从而提高了综合性能，在组合中增加 LoRA 的数量时尤为明显。

Feb, 2024

使用动态融合权重的 LoRA-Flow 方法在六个生成任务中实验证明，相较于基准方法的任务级融合权重，我们的方法始终表现优异，强调了引入动态融合权重对于 LoRA 组合的必要性。

Feb, 2024

我们介绍了 HeteroLoRA，这是一种轻量级的搜索算法，通过利用零成本代理在模型中分配有限的 LoRA 可训练参数，以提高微调性能，并在更具挑战性的搜索空间中展示了 HeteroLoRA 的有效性。

Jun, 2024

提出了一个称为 SuperLoRA 的广义框架，将不同的 LoRA 变体统一并扩展，通过引入分组、折叠、洗牌、投影和张量分解等方法，SuperLoRA 相对于其他 LoRA 变体具有更高的灵活性，在转移学习任务中表现出卓越的性能，尤其在极低参数的情况下表现出色。

Mar, 2024

在此研究中，我们探讨了 LoRA 模块的组合性，研究了使用均匀组合和学习组合两种方法，发现它们在少样本场景中能够提高转移准确性，且在完整数据集场景中，学习组合与正常训练相比具有更少的可训练参数。

Feb, 2024

自定义生成技术在不同背景下合成特定概念的技术已经取得了显著进展。多概念自定义是该领域内的一项具有挑战性的任务。现有方法往往依赖于训练多个低秩适应矩阵（LoRA）的融合矩阵，将各种概念合并到单个图像中。然而，我们发现这种直接方法面临两个主要挑战：1）概念混淆，即模型无法保留独特的个体特征，2）概念消失，即模型无法生成预期的主题。为了解决这些问题，我们引入了一种名为 LoRA-Composer 的无需训练的框架，用于无缝集成多个 LoRA，从而增强生成图像中不同概念之间的和谐。LoRA-Composer 通过概念注入约束来解决概念消失问题，通过扩展交叉注意机制增强概念可见性。为了对抗概念混淆，引入了概念隔离约束，对自注意力计算进行了改进。此外，提出了潜在重新初始化方法来有效激发指定区域内的特定概念潜在性。我们的广泛测试显示，与标准基线方法相比，LoRA-Composer 的性能有明显的提升，特别是在消除基于图像的条件（如边缘检测或姿势估计）时。代码发布在此 https URL

Mar, 2024

在本研究中，我们介绍了 extbf {MT-LoRA}（多任务嵌入 LoRA），这是一个可扩展的多知识 LoRA 融合框架，旨在用于大型语言模型（LLMs）。MT-LoRA 通过混合专家（MoE）的方式将各种 LoRA 适配器集成到基本 LLM 中，使模型能够根据任务输入自动选择最相关的适配器，从而显著增强了 LLM 处理复合任务的能力。我们的评估表明，通过 MT-LoRA 装备的基本模型在解决十个问题的组合任务时，仅需一次推理过程，比单独适配器获得更好的性能，并突出了 MT-LoRA 嵌入 LLMs 中的及时目标切换能力。

May, 2024

GLoRA 是一种用于通用参数节约的微调任务的高级方法。它使用广义提示模块来优化预训练模型权重和调整中间激活，并通过采用可伸缩的、模块化的逐层结构搜索来促进高效参数适应，从而实现强大的转移学习、少样本学习和领域泛化能力。

Jun, 2023