CVPRDec, 2022

实用的即插即用扩散模型

PDF
TL;DR本文提出了一种可行的指导框架，称为实用插播（PPAP），该框架利用参数高效的微调和不需要标记的数据传输来利用多个专家，每个专家都专门针对特定噪音范围并指导扩散的反转过程。通过图像类别有条件的生成实验，证明了该方法可以成功地引导扩散，且小可训练参数和没有标记的数据。最后，通过我们的框架，我们展示了图像分类器，深度估计器和语义分割模型可以以插播的方式指导公开可用的 GLIDE。
diffusion-based generative modelsimage generationguidancefine-tuningpractical plug-and-play
发现论文，激发创造
  • 即插即用扩散蒸馏

    我们提出了一种新的蒸馏方法，可以减少迭代计算过程中无需分类器指导的扩散模型的推理计算时间，并且只需要基础模型的 1％的可训练参数，同时还能维持生成图像的视觉逼真度。

    Jun, 2024

  • 引导扩散：一种泛化的插拔式条件图像合成框架

    通过使用预先训练的逆模型设计的损失，利用扩散模型的生成控制能力，我们引入了 Steered Diffusion，这是一个通用的框架，用于实现基于扩散模型的逼真零样本条件图像生成，以在推理时引导扩散模型的图像生成过程。我们的实验表明，与最先进的基于扩散的即插即用模型相比，我们的框架在多种任务上如修补、着色、文本引导的语义编辑和图像超分辨率方面有明显的定性和定量改进，同时增加了可忽略的额外计算成本。

    Sep, 2023

  • GLIDE: 基于文本引导扩散模型的逼真图像生成和编辑

    本研究探讨了扩散模型在文本条件下生成图像的问题，并比较了不同的指导策略：CLIP 指导和无分类器指导。 结果发现对于照片逼真度和字幕相似性，后者更受人类评估人员的青睐，还可以进行图像修复。

    Dec, 2021

  • 分类器引导扩散生成的设计空间阐明

    通过使用现成的预训练分类器在无需额外计算成本的情况下，提出了预处理技术来引导扩散生成，旨在实现比现有方案更显著的性能改进，尤其是在图像生成任务中。

    Oct, 2023

  • Dreamguider：改进的无需训练扩散式条件生成

    Dreamguider 是一个无需通过扩散网络进行计算密集型反向传播的推理时引导方法，通过调节渐变流量和引入经验引导尺度来解决了线性和非线性引导问题，并提出了有效的轻量级增强策略。

    Jun, 2024

  • 流形保持引导扩散

    提出了 Manifold Preserving Guided Diffusion (MPGD)，实现了一种无需训练的条件生成框架，利用预训练扩散模型和现成的神经网络，具有最小的附加推断成本，适用于各种条件生成应用，提供了高样本品质和高达 3.8 倍的速度提升。

    Nov, 2023

  • 联合征服：使用扩散模型的即插即用多模态合成

    本文研究了使用扩散模型生成图片以满足多种限制条件的问题。我们提出了一种基于去噪扩散概率模型的解决方案，该方法能够统一多个扩散模型，并引入一种新的可靠性参数，使得可以在采样时仅使用不同数据集上训练的现成模型来指导并满足多种限制条件的任务。该方法在多种标准的多模态任务上表现出了有效性。

    Dec, 2022

  • 通过语义扩散引导使图像合成更加可控

    该研究探讨了图像合成模型的细粒度、连续控制，提出了一种新的语义扩散引导统一框架，可以注入预训练的无条件扩散模型的语言或图像指导，并在 FFHQ 和 LSUN 数据集上进行了实验。

    Dec, 2021

  • 基于文本的图像到图像翻译的即插即用扩散特征

    研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

    Nov, 2022

  • 在任何场景中生成任何物体

    我们提出了一种简单高效的数据增强训练策略，通过插入适配器层来引导扩散模型仅专注于对象身份，使得我们的模型具备控制每个生成个性化对象的位置和大小的能力，并提出了区域引导抽样技术来保持生成图像的质量和保真度。

    Jun, 2023