Apr, 2024

FilterPrompt：在扩散模型中引导图像传输

PDF
TL;DR我们提出了 FilterPrompt 方法，通过在像素空间中对输入图像的特定特征分布执行图像处理操作，从而实现对生成结果的精确控制效果。该方法可以广泛适用于任何扩散模型，让用户根据任务要求调整特定图像特征的表示，从而促进更精确、可控的生成结果。
controllable generationdecoupling algorithmsdiffusion modelfilterpromptmodel control effect
发现论文，激发创造
  • 使用扩散模型进行受控训练数据生成

    这项研究提出了一种利用反馈机制来控制文本到图像生成模型，以生成对监督学习特别有用的训练数据的方法，并且通过引入指导目标分布的反馈机制，演示了该方法在不同任务、数据集和架构上相对于开环方法的有效性。

    Mar, 2024

  • 利用有损扩散模型增强图像布局控制

    扩散模型为一种强大的生成模型，能够从纯噪声中生成高质量的图像。条件扩散模型通过简单的文本提示能够指定所需图像的内容，然而，仅仅基于文本提示无法对最终图像的构成和布局进行细致的控制，而这取决于初始噪声分布。本文探讨了两种改进方法，并演示了当这两种方法结合使用时可以获得更好的性能。

    May, 2024

  • 基于文本的图像到图像翻译的即插即用扩散特征

    研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

    Nov, 2022

  • 通过语义扩散引导使图像合成更加可控

    该研究探讨了图像合成模型的细粒度、连续控制，提出了一种新的语义扩散引导统一框架，可以注入预训练的无条件扩散模型的语言或图像指导，并在 FFHQ 和 LSUN 数据集上进行了实验。

    Dec, 2021

  • 增强扩散模型的可控性

    该研究使用基于 GAN latent space 的技术和生成式扩散模型，通过条件输入的两个 latent codes（空间内容掩码和扁平化样式嵌入）对其生成进行控制，从而实现图像的有效操控和转化。

    Feb, 2023

  • PromptFix: 通过您的提示改善照片质量

    通过构建一个大规模指示遵循数据集，以及提出高频率引导采样方法和辅助提示适配器，即 PromptFix，使扩散模型在各种图像处理任务中优于以往方法，同时在盲恢复和组合任务中展现出卓越的零样本能力。

    May, 2024

  • 反向稳定扩散：生成此图像所使用的提示是什么？

    预测生成式扩散模型所生成图像的文本提示，采用联合回归和多标签词汇分类目标的新型学习框架，结合白盒和黑盒模型解决生成文本提示的问题，并通过课程学习和领域自适应核学习方法进一步改进。实验结果表明，该学习框架在预测文本提示任务上取得了出色的结果，尤其在白盒模型上应用时效果最好，并发现在生成文本到图像时将该模型用于回收训练能够使生成的图像与输入提示更好地对齐。

    Aug, 2023

  • 扩散自导式可控图片生成

    本篇研究介绍了 self-guidance 这一新方法，通过指导扩散模型的内部表示，提供了对生成图像更强的控制力，可以从这些表示中提取对象的形状、位置和外观等属性，并使用它们来控制生成的采样，这种方法类似于分类器引导，但是不需要额外的模型或训练，作者演示了如何使用这种方法进行复杂的图像操作，如修改对象的位置或大小，合并图像中对象的外观和布局等，并证明了 self-guidance 还可以用于编辑真实图像。

    Jun, 2023

  • 本地条件控制文本到图像扩散模型

    本文介绍了一种新的简单而实用的任务设置：局部控制，它通过用户定义的图像条件在特定的局部区域进行控制，其余区域仅通过原始文本提示进行调节。我们提出了一种无需训练的方法，利用去噪过程中噪声潜变量和参数的更新，在交互注意力图中促进非控制区域的概念生成。此外，我们使用特征屏蔽约束解决局部控制区域内外信息差异导致的合成图像质量下降问题。广泛的实验表明，我们的方法可以在局部控制条件下合成出高质量的图像。

    Dec, 2023

  • 利用扩散模型对输入噪声进行调控以进行可控图像生成

    通过给扩散模型输入精制的噪声来提高其控制性，从而可以产生基于语义属性的图像。

    May, 2022