Feb, 2024

图像生成的多 LoRA 组合

PDF
TL;DR通过解码为中心的视角，本研究提出了两种无需训练的方法：LoRA Switch 和 LoRA Composite，分别通过在去噪步骤中交替使用不同的 LoRA 和同时整合所有的 LoRA，以更好地指导图像合成，从而提高了综合性能，在组合中增加 LoRA 的数量时尤为明显。
low-rank adaptationloramulti-lora compositionlora switchlora composite
发现论文，激发创造
  • CLoRA：一种对比的方法来组合多个 LoRA 模型

    通过更新多个 LoRA 模型的注意力图并利用它们创建语义掩码来解决在图像生成中多个概念的平滑融合问题，并成功地合并多个概念或样式。

    Mar, 2024

  • LoraRetriever: 面向混合任务的输入感知 LoRA 检索与组合

    LoraRetriever 是一个检索后合成的框架，根据输入提示自适应地检索和组合多个 LoRA，实验结果表明 LoraRetriever 始终优于基线模型，突出了其实际效果和通用性。

    Feb, 2024

  • LoRA-Composer: 低秩适应在无需训练的扩散模型中实现多概念自定义

    自定义生成技术在不同背景下合成特定概念的技术已经取得了显著进展。多概念自定义是该领域内的一项具有挑战性的任务。现有方法往往依赖于训练多个低秩适应矩阵（LoRA）的融合矩阵，将各种概念合并到单个图像中。然而，我们发现这种直接方法面临两个主要挑战：1）概念混淆，即模型无法保留独特的个体特征，2）概念消失，即模型无法生成预期的主题。为了解决这些问题，我们引入了一种名为 LoRA-Composer 的无需训练的框架，用于无缝集成多个 LoRA，从而增强生成图像中不同概念之间的和谐。LoRA-Composer 通过概念注入约束来解决概念消失问题，通过扩展交叉注意机制增强概念可见性。为了对抗概念混淆，引入了概念隔离约束，对自注意力计算进行了改进。此外，提出了潜在重新初始化方法来有效激发指定区域内的特定概念潜在性。我们的广泛测试显示，与标准基线方法相比，LoRA-Composer 的性能有明显的提升，特别是在消除基于图像的条件（如边缘检测或姿势估计）时。代码发布在此 https URL

    Mar, 2024

  • MultiLoRA: 提升多任务学习效果的 LoRA 民主化

    提出了 MultiLoRA，通过减少 LoRA 中观察到的顶层奇异向量的主导性，通过水平扩展 LoRA 模块和改变适应矩阵的参数初始化来减少参数依赖性，从而产生更平衡的单元子空间，从而实现更好的多任务适应性。MultiLoRA 在多个基准和模型规模上优于单个 LoRA 对应项和微调，仅需额外 2.5％的参数。对 MultiLoRA 的权重更新矩阵进行进一步研究表明，其对顶层奇异向量的依赖性减小，单元变换贡献更加均衡。

    Nov, 2023

  • SuperLoRA: 多层注意力模块参数高效统一适应

    提出了一个称为 SuperLoRA 的广义框架，将不同的 LoRA 变体统一并扩展，通过引入分组、折叠、洗牌、投影和张量分解等方法，SuperLoRA 相对于其他 LoRA 变体具有更高的灵活性，在转移学习任务中表现出卓越的性能，尤其在极低参数的情况下表现出色。

    Mar, 2024

  • LoraHub: 动态 LoRA 组合实现高效的跨任务泛化

    LoRAHub 是一个用于组合多个训练在不同任务上的 LoRA 模块的战略性框架，旨在实现在未知任务上的适应性性能，可以有效地模拟在少样本情况下的上下文学习表现，无需上下文示例。

    Jul, 2023

  • 关于 LoRA 的注释

    LoRA 是一种高效适应大型语言模型 (LLM) 的首选方法，具有显著的简洁性和有效性，本文提供了对原始 LoRA 论文的补充视角，并为大规模部署 LoRA 提供了一系列的见解，以改善对 LoRA 的理解和应用。

    Apr, 2024

  • PC-LoRA：基于知识蒸馏的逐步模型压缩的低秩适应

    逐步压缩低秩适应（PC-LoRA）方法通过低秩适应同时进行模型压缩和微调，最终仅保留低秩适配器以取代预训练权重，实现了参数和计算量的压缩。

    Jun, 2024

  • 用于可上传机器学习的检索增强的混合 LoRA 专家

    Retrieval-Augmented Mixture of LoRA Experts (RAMoLE) is a framework that adaptively retrieves and composes multiple LoRAs to improve large language models through Uploadable Machine Learning, consistently outperforming baselines.

    Jun, 2024

  • LoRA 专家混合模型

    引入了 Mixture of LoRA Experts (MoLE) 方法，利用分层控制和无限制的分支选择，实现了对 LoRA 的优化融合性能和弹性组合能力的提升。通过在自然语言处理（NLP）和视觉与语言（V&L）领域进行广泛的实验评估，证实了 MoLE 的有效性。

    Apr, 2024