以自身的错误版本引导扩散模型

Jun, 2024

Guiding a Diffusion Model with a Bad Version of Itself

Tero Karras, Miika Aittala, Tuomas Kynkäänniemi, Jaakko Lehtinen, Timo Aila...

TL;DR使用自身较小、较少训练的模型而不是无条件模型，引导生成图像，可以获得图像质量分离的控制，同时不减少变化量。这在 ImageNet 生成方面有显著的改进，64x64 像素的 FID 为 1.01，512x512 像素的 FID 为 1.25，使用公开可用的网络。此方法还适用于无条件扩散模型，大幅提高它们的质量。

Abstract

The primary axes of interest in image-generating diffusion models are image quality, the amount of variation in the results, and how well the results align with a given condition, e.g., a class label or a text pr

image-generating diffusion models image quality variation prompt alignment guiding generation

发现论文，激发创造

关于引导式扩散模型的精馏

本文介绍了一种将分类器自由引导扩散模型蒸馏为更快采样的方法，以减少推理时间，并取得了与原始模型相当的图像有效性。

Oct, 2022

利用有损扩散模型增强图像布局控制

扩散模型为一种强大的生成模型，能够从纯噪声中生成高质量的图像。条件扩散模型通过简单的文本提示能够指定所需图像的内容，然而，仅仅基于文本提示无法对最终图像的构成和布局进行细致的控制，而这取决于初始噪声分布。本文探讨了两种改进方法，并演示了当这两种方法结合使用时可以获得更好的性能。

May, 2024

分类器引导扩散生成的设计空间阐明

通过使用现成的预训练分类器在无需额外计算成本的情况下，提出了预处理技术来引导扩散生成，旨在实现比现有方案更显著的性能改进，尤其是在图像生成任务中。

Oct, 2023

扩散自导式可控图片生成

本篇研究介绍了 self-guidance 这一新方法，通过指导扩散模型的内部表示，提供了对生成图像更强的控制力，可以从这些表示中提取对象的形状、位置和外观等属性，并使用它们来控制生成的采样，这种方法类似于分类器引导，但是不需要额外的模型或训练，作者演示了如何使用这种方法进行复杂的图像操作，如修改对象的位置或大小，合并图像中对象的外观和布局等，并证明了 self-guidance 还可以用于编辑真实图像。

Jun, 2023

通过语义扩散引导使图像合成更加可控

该研究探讨了图像合成模型的细粒度、连续控制，提出了一种新的语义扩散引导统一框架，可以注入预训练的无条件扩散模型的语言或图像指导，并在 FFHQ 和 LSUN 数据集上进行了实验。

Dec, 2021

具备预训练生成模型的条件图像生成

通过经验分析，我们提出了一套方法，以降低在扩散模型中引入指导所带来的时间需求和计算开销，并且保持相当的图像质量，从而将计算时间减少大约三倍。

Dec, 2023

自导扩散模型

本文介绍了一种自导扩散模型的方法，它可以利用自我监督信号来提供图像生成的指导，而无需大量的图像注释对。通过结合特征提取功能和自注释功能，我们的方法可以为各种图像颗粒度提供指导信号，从整体图像到对象框甚至分割掩模。我们的实验表明，我们的方法在单标签和多标签图像数据集上总是优于无指导的扩散模型，甚至可能超过基于基础真实标签的指导，特别是在不平衡数据上。

Oct, 2022

利用扩散模型对输入噪声进行调控以进行可控图像生成

通过给扩散模型输入精制的噪声来提高其控制性，从而可以产生基于语义属性的图像。

May, 2022

非分类器扩散引导

本研究提出了一种不需要分类器的纯生成模型的分类器自由引导方法，该方法可以在条件扩散模型的训练过程中平衡模式覆盖率和样本保真度。

Jul, 2022

即插即用扩散蒸馏

我们提出了一种新的蒸馏方法，可以减少迭代计算过程中无需分类器指导的扩散模型的推理计算时间，并且只需要基础模型的 1％的可训练参数，同时还能维持生成图像的视觉逼真度。

Jun, 2024