Aug, 2023

ControlCom：使用扩散模型进行可控图像合成

PDF
TL;DR通过使用大规模预训练的扩散模型，我们提出了一种可控的图像合成方法，将图像混合、图像协调、视角综合和生成式合成统一为一个扩散模型，同时设计了一个自监督训练框架和一个定制化的训练数据准备方法，并通过局部增强模块提高合成图像中前景细节的保真性。我们的方法在公共基准和实际数据上进行了评估，结果表明我们的方法比现有方法能够生成更加忠实和可控的合成图像。
image compositiongenerative compositioncontrollabilityforeground attributesforeground fidelity
发现论文，激发创造
  • 扩散模型下的图像融合

    通过应用扩散模型，我们比较了两种条件性扩散模型 (Classifier-Guidance 和 Classifier-Free) 在处理前景图像的亮度和颜色调整，从而达到与背景无缝融合的视觉效果，提出了一种新的图像和谐化方法。

    Jun, 2023

  • 可组合扩散模型下的组合视觉生成

    通过解释扩散模型为基于能量的模型，在训练和测试阶段中将一组扩散模型组合在一起，结构化生成，该方法可用于合成预训练的文本指导的扩散模型并生成生动逼真的图像，解决了 DALLE-2 在对象属性方面的困难。

    Jun, 2022

  • DreamCom: 文本引导修复式图像合成模型微调

    图像合成的目标是将前景对象与背景图像合并以获取逼真的合成图像。最近，基于大型预训练扩散模型的生成式合成方法由于其前所未有的图像生成能力而得到发展。然而，生成的结果往往会丢失前景细节并出现明显的伪影。在本文中，我们提出了一种名为 DreamCom 的尴尬简单方法，灵感来自 DreamBooth。具体来说，给定一个主题的几个参考图像，我们通过微调文本导向修复扩散模型来将该主题与特殊标记相关联，并在指定的边界框内修复该主题。我们还构建了一个专门为此任务设计的新数据集 MureCom。

    Sep, 2023

  • 无需训练的基于预训练扩散模型的语义视频合成

    通过使用一个预训练的扩散模型，处理具有更大语义差异的复合视频，我们的研究提出了一个无需训练的流程，以确保输出的视觉协调性和跨帧连贯性。

    Jan, 2024

  • 层级扩散：使用扩散模型进行分层控制图像编辑

    本文提出了一种基于语义的分层控制图像编辑方法 ——LayerDiffusion，通过对大规模文本转图像模型的利用，结合分层控制优化策略和分层扩散训练，实现特定主题属性的非刚性编辑和属性修改，同时保持其独特的特征并无缝地融入新背景，而在扩散过程中采用迭代引导策略生成与文字描述相符的最终图像，在实验结果中发现 LayerDiffusion 能够生成高度一致、与给定文本描述密切符合的图像，同时保持与输入图像相似的特征，超越了当前领先的图像编辑方法，开启了图像编辑的新可能性。

    May, 2023

  • 通过语义扩散引导使图像合成更加可控

    该研究探讨了图像合成模型的细粒度、连续控制，提出了一种新的语义扩散引导统一框架，可以注入预训练的无条件扩散模型的语言或图像指导，并在 FFHQ 和 LSUN 数据集上进行了实验。

    Dec, 2021

  • PrimeComposer：基于注意力引导的图像合成的快速逐步组合扩散

    本论文提出了 PrimeComposer，一种快速训练无关的扩散器，通过在不同噪声水平上精心设计的注意力引导来组合图像。该方法主要通过使用我们的关联扩散器，在每个步骤上利用其自注意层来实现。我们的方法在前景生成、合成质量和推理效率方面都表现出卓越的优势。

    Mar, 2024

  • 使用扩散模型进行图像分解

    本文提出了一种图像分解的方法，使用 Diffusion 模型进行无监督训练，从而推断出图像中的各种组成部分，并展示了如何使用这些组成部分灵活地生成不同于训练时的场景。

    Jun, 2024

  • 增强扩散模型的可控性

    该研究使用基于 GAN latent space 的技术和生成式扩散模型，通过条件输入的两个 latent codes（空间内容掩码和扁平化样式嵌入）对其生成进行控制，从而实现图像的有效操控和转化。

    Feb, 2023

  • 合成与征服：基于扩散的三维深度感知可组合图像合成

    通过整合三维物体放置、全局风格语义以及软引导等技术，我们提出了一种条件扩散模型 ——Compose and Conquer (CnC)，能够分离式地定位多个条件，并实现对不同全局语义所定位的局部物体的创作。

    Jan, 2024