Nov, 2023

LCM-LoRA：一种通用的稳定扩散加速模块

PDF
TL;DR通过将 LoRA 蒸馏应用于包括 SD-V1.5、SSD-1B 和 SDXL 的稳定扩散模型，扩展了潜在一致性模型 (LCMs) 的潜力，减少内存消耗，提高图像生成质量，并将通过 LCM 蒸馏得到的 LoRA 参数作为稳定扩散加速模块命名为 LCM-LoRA，该模块可以直接插入各种经过微调的稳定扩散模型或 LoRAs 中，从而成为多样的图像生成任务中可广泛应用的加速器。
latent consistency modelstext-to-image generative taskslora distillationstable-diffusion modelslcm-lora
发现论文，激发创造
  • 潜在一致性模型：用少量推理步骤合成高分辨率图像

    利用潜在一致性模型（LCMs）解决迭代抽样过程在高分辨率图像合成中的计算负担和生成速度慢的问题，LCMs 通过直接预测导引反向扩散过程的 ODE 解决方案在潜空间中，实现了快速、高保真度的采样。

    Oct, 2023

  • 加速 STABLE-DIFFUSION 的统一模块：LCM-LORA

    本文综合研究了用于加速稳态扩散过程的统一模块，并重点关注 lcm-lora 模块。研究提出了无条件稳定扩散加速方法的理论基础和数值结果，揭示了其在模型离散方程问题中的稳定性和性能，同时探索了扩散模型加速的最新进展，包括通过 gpu 优化在设备上加速大型扩散模型，突出了显著改善推理延迟的潜力。该研究的结果和分析为稳态扩散过程提供了重要见解，对于创建和应用加速方法，特别是 lcm-lora 模块在各种计算环境中具有重要意义。

    Mar, 2024

  • 基于 LoRA 增强的导向扩散模型蒸馏

    我们的研究探索了一种新颖的方法，将低秩适应性（LoRA）与模型蒸馏相结合，以有效地压缩扩散模型。该方法不仅减少了推理时间，还减轻了内存开销，甚至在应用蒸馏之前就显著降低了内存消耗。结果是显著减少了由蒸馏过程导致的推理时间，并且内存消耗减少了 50%。生成图像的检查强调了 LoRA 增强蒸馏与所提供提示的图像质量和对齐性一致。总之，传统的蒸馏倾向于增加内存消耗，而 LoRA 增强蒸馏则在质量方面没有任何妥协，提供了优化的解决方案。

    Dec, 2023

  • SuperLoRA: 多层注意力模块参数高效统一适应

    提出了一个称为 SuperLoRA 的广义框架，将不同的 LoRA 变体统一并扩展，通过引入分组、折叠、洗牌、投影和张量分解等方法，SuperLoRA 相对于其他 LoRA 变体具有更高的灵活性，在转移学习任务中表现出卓越的性能，尤其在极低参数的情况下表现出色。

    Mar, 2024

  • 图像生成的多 LoRA 组合

    通过解码为中心的视角，本研究提出了两种无需训练的方法：LoRA Switch 和 LoRA Composite，分别通过在去噪步骤中交替使用不同的 LoRA 和同时整合所有的 LoRA，以更好地指导图像合成，从而提高了综合性能，在组合中增加 LoRA 的数量时尤为明显。

    Feb, 2024

  • 隐私保护的低秩适应性潜态扩散模型

    Low-rank adaptation is used to adapt latent diffusion models, but it is vulnerable to membership inference attacks; therefore, a privacy-preserving solution called Stable PrivateLoRA is proposed to mitigate this issue and effectively defend against MI attacks while generating high-quality images.

    Feb, 2024

  • MultiLoRA: 提升多任务学习效果的 LoRA 民主化

    提出了 MultiLoRA，通过减少 LoRA 中观察到的顶层奇异向量的主导性，通过水平扩展 LoRA 模块和改变适应矩阵的参数初始化来减少参数依赖性，从而产生更平衡的单元子空间，从而实现更好的多任务适应性。MultiLoRA 在多个基准和模型规模上优于单个 LoRA 对应项和微调，仅需额外 2.5％的参数。对 MultiLoRA 的权重更新矩阵进行进一步研究表明，其对顶层奇异向量的依赖性减小，单元变换贡献更加均衡。

    Nov, 2023

  • LoRA-Composer: 低秩适应在无需训练的扩散模型中实现多概念自定义

    自定义生成技术在不同背景下合成特定概念的技术已经取得了显著进展。多概念自定义是该领域内的一项具有挑战性的任务。现有方法往往依赖于训练多个低秩适应矩阵（LoRA）的融合矩阵，将各种概念合并到单个图像中。然而，我们发现这种直接方法面临两个主要挑战：1）概念混淆，即模型无法保留独特的个体特征，2）概念消失，即模型无法生成预期的主题。为了解决这些问题，我们引入了一种名为 LoRA-Composer 的无需训练的框架，用于无缝集成多个 LoRA，从而增强生成图像中不同概念之间的和谐。LoRA-Composer 通过概念注入约束来解决概念消失问题，通过扩展交叉注意机制增强概念可见性。为了对抗概念混淆，引入了概念隔离约束，对自注意力计算进行了改进。此外，提出了潜在重新初始化方法来有效激发指定区域内的特定概念潜在性。我们的广泛测试显示，与标准基线方法相比，LoRA-Composer 的性能有明显的提升，特别是在消除基于图像的条件（如边缘检测或姿势估计）时。代码发布在此 https URL

    Mar, 2024

  • OLoRA: 正交低秩对大型语言模型的适应

    OLoRA 是对 LoRA 方法的增强，利用 QR 分解通过正交矩阵初始化来加速 LLM 训练的收敛速度，同时保留 LoRA 的高效特性，例如可训练参数数量和 GPU 内存占用，实证评估结果显示，OLoRA 不仅收敛更快，而且在各种语言建模任务上表现出更好的性能，为 LLM 的精细调整提供了更高效和可访问性的可能，从而促进自然语言应用的广泛采用和创新。

    Jun, 2024

  • Continual Diffusion：使用 C-LoRA 实现文本到图像的持续个性化

    本研究提出了一种新的方法 C-LoRA，用于解决文本到图像连续定制中的遗忘问题，并取得了良好的效果，为各种应用开启了新的可能性。

    Apr, 2023