Dec, 2023

扩散模型中引导图像合成的语义驱动初始图像构建

PDF
TL;DR使用预先收集的、具有语义信息的像素块，通过多个初始噪声进行初始图像构建，以增强对图像生成的控制。实验结果显示了初始图像构建在引导生成图像内容方面的适应性，并在无需训练的布局到图像合成任务中取得了最先进的性能。
image generationinitial noise imageinitial image constructionpixel blockstraining-free layout-to-image synthesis
发现论文，激发创造
  • 扩散模型中通过初始图像编辑实现引导图像合成

    通过稳定的扩散实验，我们发现初始图像中的像素块倾向于生成特定的内容，我们通过修改它们可以显著影响生成的图像，这种影响只影响特定的区域，而不影响其他区域，这对于重绘任务非常有用。我们发现像素块的生成偏好主要由其值而不是位置决定，通过将具有生成用户所需内容倾向的像素块移动到用户指定的区域，我们的方法在布局到图像生成方面实现了最先进的性能，我们的结果凸显了初始图像操作在控制生成图像方面的灵活性和能力。

    May, 2023

  • 通过语义扩散引导使图像合成更加可控

    该研究探讨了图像合成模型的细粒度、连续控制，提出了一种新的语义扩散引导统一框架，可以注入预训练的无条件扩散模型的语言或图像指导，并在 FFHQ 和 LSUN 数据集上进行了实验。

    Dec, 2021

  • 利用扩散模型对输入噪声进行调控以进行可控图像生成

    通过给扩散模型输入精制的噪声来提高其控制性，从而可以产生基于语义属性的图像。

    May, 2022

  • InitNO：通过初始噪声优化来提升文本到图像扩散模型

    本研究旨在解决生成图像与提供的提示之间的无缝对齐问题，通过引入 “初始噪声优化”（InitNO）方法，通过评估初始噪声，并通过噪声优化来生成符合文本提示的图像。

    Apr, 2024

  • 针对可控图像生成的空间感知潜变量初始化

    通过利用空间感知的初始化噪声，我们提出了一种自定义空间感知初始化噪声的开放词汇框架，以有效提高布局引导的效果。

    Jan, 2024

  • 使用潜在扩散模型进行高保真度的图像合成引导

    本文提出了一种新的引导图像合成框架，该框架通过将输出图像建模为受约束优化问题的解决方案来解决领域偏移问题。同时，本文还展示了通过定义基于交叉注意力的输入文本符号和用户笔画之间的对应关系，用户可以在不需要任何条件训练或微调的情况下控制不同绘制区域的语义。

    Nov, 2022

  • 通过扩散模型实现语义图像合成

    本篇论文提出了一种基于 DDPM 的新型框架，用于语义图像合成，通过条件扩散模型来处理语义布局与噪声图像，而引入分类器自由的引导采样策略来进一步提高了生成质量和语义可解释性。

    Jun, 2022

  • IIDM：语义图像合成的图像到图像扩散模型

    本文提出了一种基于图像扩散模型的语义图像合成方法，通过引入随机噪声和逐渐去噪的方式，以分割掩模为指导生成高质量图像，并进一步通过细化、颜色转移和模型集成等技术提高合成质量。大量实验证明本方法在性能上明显超越了现有的最先进方法。

    Mar, 2024

  • 基于扩散模型的图像编辑：一项综述

    调查论文对使用扩散模型进行图像编辑的现有方法进行了全面的概述，包括理论和实践方面，并从多个角度对这些作品进行了彻底分析和分类，介绍了学习策略、用户输入条件以及可以实现的特定编辑任务的组合。此外，对图像修复和扩展进行了特别关注，并探讨了早期的传统上下文驱动方法和当前的多模态条件方法，全面分析了它们的方法论。最后，讨论当前的限制并展望未来的研究方向。

    Feb, 2024

  • 在扩散模型中通过初始化保留图像属性

    零售摄影对图像有特定要求，包括统一的背景颜色、一致的模特姿势、居中的产品和一致的光照。当前应用的 Stable Diffusion 方法未能满足这些要求，而使用近似噪声图像作为推理初始化样本能够修复这一问题，并能提高扩散方法的可控性。

    Jan, 2024