ECCVJun, 2022

可组合扩散模型下的组合视觉生成

PDF
TL;DR通过解释扩散模型为基于能量的模型，在训练和测试阶段中将一组扩散模型组合在一起，结构化生成，该方法可用于合成预训练的文本指导的扩散模型并生成生动逼真的图像，解决了 DALLE-2 在对象属性方面的困难。
diffusion modelscompositional generationstructured approachenergy-based modelsvisual generation
发现论文，激发创造
  • 无需训练的结构扩散引导的组合文本到图像合成

    本文基于扩散模型的可控属性，将语言结构与扩散过程相结合，进一步提高了 T2I 模型的组合能力，特别是更准确的属性绑定和更好的图像组合，这得益于跨注意层的帮助和语言洞察力。

    Dec, 2022

  • 减少，重复利用，回收：基于能量扩散模型和 MCMC 的组合生成

    本文探讨了基于评分的解释下的扩散模型的新的条件化方式、修改、及重复利用方法，研究了目前技术下导致某些类型的组合失败的原因，并提出了解决方案，同时提出了基于能量的参数化的扩散模型，该模型得以利用新的组合算子和更复杂的 Metropolis 修正取样器，这些方法在广泛的问题领域对组合生成带来了显著的改进。

    Feb, 2023

  • 使用扩散模型进行图像分解

    本文提出了一种图像分解的方法，使用 Diffusion 模型进行无监督训练，从而推断出图像中的各种组成部分，并展示了如何使用这些组成部分灵活地生成不同于训练时的场景。

    Jun, 2024

  • 复合能力呈现出乘法效应：在合成任务上探索扩散模型

    通过对条件扩散模型的控制实验研究，我们发现生成模型在组合推理任务上的性能是突然出现的，其组合能力取决于底层数据生成过程的结构，并在生成非分布样本时需要更多的优化步骤。

    Oct, 2023

  • 复合扩散 | 整体 >= Σ 部分

    该论文介绍了一种名为 Composite Diffusion 的方法，该方法允许艺术家通过自由形式的分段布局来生成高质量图像，以此来实现对图像生成的更大的空间、语义和创造性控制。

    Jul, 2023

  • ControlCom：使用扩散模型进行可控图像合成

    通过使用大规模预训练的扩散模型，我们提出了一种可控的图像合成方法，将图像混合、图像协调、视角综合和生成式合成统一为一个扩散模型，同时设计了一个自监督训练框架和一个定制化的训练数据准备方法，并通过局部增强模块提高合成图像中前景细节的保真性。我们的方法在公共基准和实际数据上进行了评估，结果表明我们的方法比现有方法能够生成更加忠实和可控的合成图像。

    Aug, 2023

  • 3DDesigner: 基于文本引导扩散模型的照片般逼真的 3D 物体生成和编辑

    本文提出了一种基于文本引导扩散模型的 3D 场景生成、编辑和新视角合成方法，并重点讨论了 3D 一致性、本地编辑和单张图像训练等基础问题，取得了较好的效果。

    Nov, 2022

  • 利用大型视觉语言模型改善组合文本图像生成

    利用大型视觉语言模型来评估生成图像与输入文本之间的对齐，在此基础上，通过细调扩散模型来提升其对齐能力。实验证明，该方法显著改善了构图图像生成中的文本 - 图像对齐，特别在物体数量、属性绑定、空间关系和审美质量方面。

    Oct, 2023

  • GLIDE: 基于文本引导扩散模型的逼真图像生成和编辑

    本研究探讨了扩散模型在文本条件下生成图像的问题，并比较了不同的指导策略：CLIP 指导和无分类器指导。 结果发现对于照片逼真度和字幕相似性，后者更受人类评估人员的青睐，还可以进行图像修复。

    Dec, 2021

  • 合成与征服：基于扩散的三维深度感知可组合图像合成

    通过整合三维物体放置、全局风格语义以及软引导等技术，我们提出了一种条件扩散模型 ——Compose and Conquer (CnC)，能够分离式地定位多个条件，并实现对不同全局语义所定位的局部物体的创作。

    Jan, 2024