Mar, 2024

分块 LoRA：再探文本到图像生成中的细粒度个性化和风格化

PDF
TL;DR个性化和风格化在文字到图像的任务中都是指导预训练扩散模型分析用户引入的新概念，并将其融入预期的风格。我们提出了基于块级低秩适应（LoRA）的精细调整方法，用于不同块的 SD 进行细粒度的调整，能够生成忠实于输入提示和目标身份且具有所需风格的图像。广泛实验证明了所提出方法的有效性。
personalizationstylizationtext-to-imageparameter-efficient fine-tuningblock-wise low-rank adaptation
发现论文，激发创造
  • PeriodicLoRA: 打破 LoRA 优化中的低秩瓶颈

    本研究探讨了一种改进的 LoRA 优化方法，称为 PeriodicLoRA（PLoRA），通过多次积累低秩更新矩阵来提高更新秩，并引入一种基于动量的卸载策略以减轻训练不稳定性。实验结果表明，PLoRA 具有更强的学习能力，最高可达到 LoRA 学习能力的 1.8 倍，但不增加内存使用。

    Feb, 2024

  • StyleInject：文本到图像扩散模型的参数高效调优

    通过引入 StyleInject，一种针对文本到图像模型的特殊微调方法，以对抗传统的 LoRA 方法在图像生成方面的不足，我们能够显著减小对原始模型的文本 - 图像对齐能力的影响，同时能够在转移学习中灵活地适应不同风格，通过大量实验证明 StyleInject 在文本 - 图像语义一致性和人工评估方面超越传统方法，并在参数效率上有所提升。

    Jan, 2024

  • LoRA Land: 310 微调 LLM 模型媲美 GPT-4 的技术报告

    LoRA 是一种使用较少参数和内存的训练方法，研究表明，在低秩适配器的支持下，LoRA fine-tuned 模型在多个任务上表现超过基准模型 34 个百分点和 GPT-4 10 个百分点；此外，他们开发了 LoRAX 多模型推理服务器，支持多个 LoRA fine-tuned 模型在单个 GPU 上运行，以展示使用多个专用 LLM 相对于单个通用 LLM 的质量和成本效益。

    Apr, 2024

  • TriLoRA：在文本到图像生成中集成 SVD 的高级风格个性化

    综合奇异值分解（Singular Value Decomposition）与低秩适应（Low-Rank Adaptation）参数更新策略，提高图像生成模型的微调效率和输出质量，改善模型的泛化能力和创造性灵活性，同时在受限资源条件下保持良好性能。

    May, 2024

  • PaRa: 個性化文本到圖像擴散通過參數等級降低

    PaRa 是一种用于 T2I 模型个性化的参数等级减少方法，通过显式控制扩散模型参数的等级来限制其初始的多样化生成空间为一个小而平衡的目标空间，通过全面实验证明，PaRa 在单 / 多主题生成以及单图像编辑方面相比现有的微调方法具有更好的参数效率（2 倍更少的可学习参数）和更好的目标图像对齐效果。

    Jun, 2024

  • ResLoRA：低秩适应中的身份残差映射

    使用深度学习模型的参数高效微调方法，通过引入残差路径和合并方法来改进低秩适应方法（LoRA），从而在没有额外可训练参数或推理成本的情况下，在较少的训练步骤中获得更好的结果。

    Feb, 2024

  • SuperLoRA: 多层注意力模块参数高效统一适应

    提出了一个称为 SuperLoRA 的广义框架，将不同的 LoRA 变体统一并扩展，通过引入分组、折叠、洗牌、投影和张量分解等方法，SuperLoRA 相对于其他 LoRA 变体具有更高的灵活性，在转移学习任务中表现出卓越的性能，尤其在极低参数的情况下表现出色。

    Mar, 2024

  • Continual Diffusion：使用 C-LoRA 实现文本到图像的持续个性化

    本研究提出了一种新的方法 C-LoRA，用于解决文本到图像连续定制中的遗忘问题，并取得了良好的效果，为各种应用开启了新的可能性。

    Apr, 2023

  • 图像生成的多 LoRA 组合

    通过解码为中心的视角，本研究提出了两种无需训练的方法：LoRA Switch 和 LoRA Composite，分别通过在去噪步骤中交替使用不同的 LoRA 和同时整合所有的 LoRA，以更好地指导图像合成，从而提高了综合性能，在组合中增加 LoRA 的数量时尤为明显。

    Feb, 2024

  • ALoRA: 为大型语言模型调整低秩适应

    通过 AB-LoRA 方法，逐步修剪过多和负面影响的 LoRA 排名，并将修剪后的 LoRA 预算分配给需要更高排名的重要 Transformer 模块，实现了分配低秩适应 (ALoRA) 的灵活下游任务适应方法。实验结果表明，ALoRA 方法在可调参数相当的情况下优于最近的基准模型。

    Mar, 2024