CVPRMar, 2024

NoiseCollage: 一种基于噪声裁剪和合并的布局感知文本到图像扩散模型

PDF
TL;DR本研究提出了一种新颖的布局感知的文本到图像扩散模型 NoiseCollage，它通过独立估计噪音并将其裁剪和合并为单个噪音，从而解决了文本和布局条件之间存在的不匹配以及生成图像质量下降的问题。定性和定量评估结果表明，NoiseCollage 优于几种最新模型，这些成功的结果表明使用噪音的裁剪和合并操作是一种合理的图像生成策略。还展示了将 NoiseCollage 与 ControlNet 集成以使用边缘、草图和姿势骨架作为附加条件，实验结果显示该集成提高了 ControlNet 的布局准确性。
layout-aware text-to-image generationnoisecollagemismatchesimage generationcontrolnet
发现论文，激发创造
  • 可控制的图像生成：基于拼贴表现

    本论文使用图像拼贴和对抗训练的方式，通过感知特征和空间位置控制元素，从而提高条件生成模型的场景可控性，并在 OpenImages 数据集上进行了实验验证。

    Apr, 2023

  • 针对可控图像生成的空间感知潜变量初始化

    通过利用空间感知的初始化噪声，我们提出了一种自定义空间感知初始化噪声的开放词汇框架，以有效提高布局引导的效果。

    Jan, 2024

  • DiffCollage: 基于扩散模型的大规模内容并行生成

    DiffCollage 是一种基于组合性扩散模型的方法，可以生成大量内容，并将其应用于图像生成、文本生成等各种任务。

    Mar, 2023

  • 扩散模型中引导图像合成的语义驱动初始图像构建

    使用预先收集的、具有语义信息的像素块，通过多个初始噪声进行初始图像构建，以增强对图像生成的控制。实验结果显示了初始图像构建在引导生成图像内容方面的适应性，并在无需训练的布局到图像合成任务中取得了最先进的性能。

    Dec, 2023

  • 基于扩散模型的图像编辑：一项综述

    调查论文对使用扩散模型进行图像编辑的现有方法进行了全面的概述，包括理论和实践方面，并从多个角度对这些作品进行了彻底分析和分类，介绍了学习策略、用户输入条件以及可以实现的特定编辑任务的组合。此外，对图像修复和扩展进行了特别关注，并探讨了早期的传统上下文驱动方法和当前的多模态条件方法，全面分析了它们的方法论。最后，讨论当前的限制并展望未来的研究方向。

    Feb, 2024

  • LayerDiff：通过层级协作扩散模型，探索文本引导的多层可组合图像合成

    本文提出了一种称为 LayerDiff 的分层协同扩散模型，专门用于文本引导的多层可组合图像合成，该模型能够生成与传统的整体图像生成方法相媲美的高质量多层图像，并实现了更广泛的可控生成应用，包括分层图像编辑和风格迁移。

    Mar, 2024

  • 通过语义扩散引导使图像合成更加可控

    该研究探讨了图像合成模型的细粒度、连续控制，提出了一种新的语义扩散引导统一框架，可以注入预训练的无条件扩散模型的语言或图像指导，并在 FFHQ 和 LSUN 数据集上进行了实验。

    Dec, 2021

  • SyncNoise: 文本驱动的三维场景编辑中的几何一致噪声预测

    基于 2D 扩散模型的视觉编辑已经取得了显著的能力，但如何在多个视角上实现一致的编辑仍然是一个挑战。本文提出了 SyncNoise，一种新颖的几何引导的多视角一致噪声编辑方法，通过同步编辑多个视角以强制实现几何一致性，从而确保了语义结构和低频外观的全局一致性。通过设置一组锚定视角和跨视角重投影将其传播到相邻帧，以进一步提升高频细节的局部一致性。通过训练期间引入深度监督来提高多视角对应的可靠性，并在噪声和像素级别上增强几何一致性，我们的方法实现了高质量的 3D 编辑结果，尤其是在具有复杂纹理的场景中。

    Jun, 2024

  • 刷字：通过扩散模型在图像上合成任意场景文本

    提出了 Diff-Text，它是一个训练免费的场景文本生成框架，能够以任何语言的文本和场景的文本描述为输入，输出逼真的照片。通过引入局部化的注意力约束和对比度图像级提示，实现了场景文本的准确生成，并在文本识别准确性和前景背景融合的自然度方面优于现有方法。

    Dec, 2023

  • 无需清洗图像的逼真相机噪声建模 - Noise2NoiseFlow

    该论文提出了一个框架，通过仅依赖噪声图像对而不是噪声 / 清洁图像对，同时训练噪声模型和降噪器，应用于 Noise Flow 架构的训练。结果表明，该框架在噪声合成和密度估计方面优于先前的基于信号处理的噪声模型，并且与其受监督的对手相当，训练的降噪器也被证明显着改进了监督和无监督基线降噪方法，这表明降噪器和噪声模型的联合训练可以显著提高降噪器的性能。

    Jun, 2022