通过解码为中心的视角，本研究提出了两种无需训练的方法：LoRA Switch 和 LoRA Composite，分别通过在去噪步骤中交替使用不同的 LoRA 和同时整合所有的 LoRA，以更好地指导图像合成，从而提高了综合性能，在组合中增加 LoRA 的数量时尤为明显。

Feb, 2024

自定义生成技术在不同背景下合成特定概念的技术已经取得了显著进展。多概念自定义是该领域内的一项具有挑战性的任务。现有方法往往依赖于训练多个低秩适应矩阵（LoRA）的融合矩阵，将各种概念合并到单个图像中。然而，我们发现这种直接方法面临两个主要挑战：1）概念混淆，即模型无法保留独特的个体特征，2）概念消失，即模型无法生成预期的主题。为了解决这些问题，我们引入了一种名为 LoRA-Composer 的无需训练的框架，用于无缝集成多个 LoRA，从而增强生成图像中不同概念之间的和谐。LoRA-Composer 通过概念注入约束来解决概念消失问题，通过扩展交叉注意机制增强概念可见性。为了对抗概念混淆，引入了概念隔离约束，对自注意力计算进行了改进。此外，提出了潜在重新初始化方法来有效激发指定区域内的特定概念潜在性。我们的广泛测试显示，与标准基线方法相比，LoRA-Composer 的性能有明显的提升，特别是在消除基于图像的条件（如边缘检测或姿势估计）时。代码发布在此 https URL

Mar, 2024

通过更新多个 LoRA 模型的注意力图并利用它们创建语义掩码来解决在图像生成中多个概念的平滑融合问题，并成功地合并多个概念或样式。

Mar, 2024

使用 B-LoRA 方法，通过分析 SDXL 和 LoRA 的结构，提出了一种隐式分离单一图像的样式和内容组件的方法，从而有效改进图像样式处理，解决模型微调时常见的过拟合问题。

Mar, 2024

LoRA 是一种高效适应大型语言模型 (LLM) 的首选方法，具有显著的简洁性和有效性，本文提供了对原始 LoRA 论文的补充视角，并为大规模部署 LoRA 提供了一系列的见解，以改善对 LoRA 的理解和应用。

Apr, 2024

个性化和风格化在文字到图像的任务中都是指导预训练扩散模型分析用户引入的新概念，并将其融入预期的风格。我们提出了基于块级低秩适应（LoRA）的精细调整方法，用于不同块的 SD 进行细粒度的调整，能够生成忠实于输入提示和目标身份且具有所需风格的图像。广泛实验证明了所提出方法的有效性。

Mar, 2024

使用动态融合权重的 LoRA-Flow 方法在六个生成任务中实验证明，相较于基准方法的任务级融合权重，我们的方法始终表现优异，强调了引入动态融合权重对于 LoRA 组合的必要性。

Feb, 2024

提出了 MultiLoRA，通过减少 LoRA 中观察到的顶层奇异向量的主导性，通过水平扩展 LoRA 模块和改变适应矩阵的参数初始化来减少参数依赖性，从而产生更平衡的单元子空间，从而实现更好的多任务适应性。MultiLoRA 在多个基准和模型规模上优于单个 LoRA 对应项和微调，仅需额外 2.5％的参数。对 MultiLoRA 的权重更新矩阵进行进一步研究表明，其对顶层奇异向量的依赖性减小，单元变换贡献更加均衡。

Nov, 2023

引入了 Mixture of LoRA Experts (MoLE) 方法，利用分层控制和无限制的分支选择，实现了对 LoRA 的优化融合性能和弹性组合能力的提升。通过在自然语言处理（NLP）和视觉与语言（V&L）领域进行广泛的实验评估，证实了 MoLE 的有效性。

Apr, 2024

提出了一个称为 SuperLoRA 的广义框架，将不同的 LoRA 变体统一并扩展，通过引入分组、折叠、洗牌、投影和张量分解等方法，SuperLoRA 相对于其他 LoRA 变体具有更高的灵活性，在转移学习任务中表现出卓越的性能，尤其在极低参数的情况下表现出色。

Mar, 2024