Nov, 2023

概念滑杆：用于扩散模型的精确控制的 LoRA 适配器

PDF
TL;DR我们提出了一种方法来创建可解释的概念滑块，从扩散模型中实现图像生成属性的精确控制。我们的方法通过识别与某个概念相对应的低秩参数方向，并最小化对其他属性的干扰来创建滑块。通过使用一小组提示或样本图像创建滑块，因此滑块方向可用于文本或视觉概念。概念滑块是即插即用的：它们可以有效组合并连续调节，实现对图像生成的精确控制。在与先前的编辑技术进行的定量实验中，我们的滑块展示了更强的目标编辑能力和较低的干扰。我们展示了天气、年龄、风格和表情的滑块，以及滑块的组合。我们展示了如何将滑块用于 StyleGAN 的潜在向量，实现对视觉概念的直观编辑（这些概念很难用文本描述）。我们还发现，我们的方法可以帮助解决 Stable Diffusion XL 中持久的质量问题，包括修复对象变形和修复扭曲的手部。我们的代码、数据和训练后的滑块可在此网址获取。
发现论文，激发创造
  • LoRA-Composer: 低秩适应在无需训练的扩散模型中实现多概念自定义

    自定义生成技术在不同背景下合成特定概念的技术已经取得了显著进展。多概念自定义是该领域内的一项具有挑战性的任务。现有方法往往依赖于训练多个低秩适应矩阵（LoRA）的融合矩阵，将各种概念合并到单个图像中。然而，我们发现这种直接方法面临两个主要挑战：1）概念混淆，即模型无法保留独特的个体特征，2）概念消失，即模型无法生成预期的主题。为了解决这些问题，我们引入了一种名为 LoRA-Composer 的无需训练的框架，用于无缝集成多个 LoRA，从而增强生成图像中不同概念之间的和谐。LoRA-Composer 通过概念注入约束来解决概念消失问题，通过扩展交叉注意机制增强概念可见性。为了对抗概念混淆，引入了概念隔离约束，对自注意力计算进行了改进。此外，提出了潜在重新初始化方法来有效激发指定区域内的特定概念潜在性。我们的广泛测试显示，与标准基线方法相比，LoRA-Composer 的性能有明显的提升，特别是在消除基于图像的条件（如边缘检测或姿势估计）时。代码发布在此 https URL

    Mar, 2024

  • Mix-of-Show: 为扩散模型的多概念定制提供低秩自适应去中心化方案

    本文提出了一种名为 Mix-of-Show 的新框架，它采用嵌入分解的 LoRA (ED-LoRA) 和梯度融合来处理多客户端单一概念调整和中心节点概念融合中的概念冲突和身份丢失问题，同时引入区域可控采样以扩展空间可控采样以解决多概念抽样中的属性绑定和缺失物体问题。实验证明 Mix-of-Show 能够高度还原多种自定义概念，包括文字、物体和场景。

    May, 2023

  • Continual Diffusion：使用 C-LoRA 实现文本到图像的持续个性化

    本研究提出了一种新的方法 C-LoRA，用于解决文本到图像连续定制中的遗忘问题，并取得了良好的效果，为各种应用开启了新的可能性。

    Apr, 2023

  • 自我发现可解释的扩散潜在方向用于负责任的文本到图像生成

    通过自监督方法找到可解释的潜在方向，提出了一种简单的方法来缓解不合适的图像生成。进行了广泛实验证明了缓解方法的有效性，特别是对于公平生成、安全生成和负责任的文本增强生成。

    Nov, 2023

  • DreamWalk: 使用扩散引导的风格空间探索

    通过分解文本提示为概念元素，并在单个扩散过程中应用单独的指导项，我们可以提供对风格和内容的细粒度控制，同时不需要微调扩散模型的内部层或操纵其神经网络。

    Apr, 2024

  • 利用有损扩散模型增强图像布局控制

    扩散模型为一种强大的生成模型，能够从纯噪声中生成高质量的图像。条件扩散模型通过简单的文本提示能够指定所需图像的内容，然而，仅仅基于文本提示无法对最终图像的构成和布局进行细致的控制，而这取决于初始噪声分布。本文探讨了两种改进方法，并演示了当这两种方法结合使用时可以获得更好的性能。

    May, 2024

  • 使用潜在扩散模型进行高保真度的图像合成引导

    本文提出了一种新的引导图像合成框架，该框架通过将输出图像建模为受约束优化问题的解决方案来解决领域偏移问题。同时，本文还展示了通过定义基于交叉注意力的输入文本符号和用户笔画之间的对应关系，用户可以在不需要任何条件训练或微调的情况下控制不同绘制区域的语义。

    Nov, 2022

  • TriLoRA：在文本到图像生成中集成 SVD 的高级风格个性化

    综合奇异值分解（Singular Value Decomposition）与低秩适应（Low-Rank Adaptation）参数更新策略，提高图像生成模型的微调效率和输出质量，改善模型的泛化能力和创造性灵活性，同时在受限资源条件下保持良好性能。

    May, 2024

  • 可组合扩散模型下的组合视觉生成

    通过解释扩散模型为基于能量的模型，在训练和测试阶段中将一组扩散模型组合在一起，结构化生成，该方法可用于合成预训练的文本指导的扩散模型并生成生动逼真的图像，解决了 DALLE-2 在对象属性方面的困难。

    Jun, 2022

  • ClickDiffusion：利用 LLMs 进行交互精确图像编辑

    提出了一种名为 ClickDiffusion 的系统，结合自然语言指令和用户通过直接操作界面提供的可视化反馈，将图像和多模态指令序列化为文本表示形式，以实现图像的精确变换和生成。

    Apr, 2024