Dec, 2021

GLIDE: 基于文本引导扩散模型的逼真图像生成和编辑

PDF
TL;DR本研究探讨了扩散模型在文本条件下生成图像的问题，并比较了不同的指导策略：CLIP 指导和无分类器指导。 结果发现对于照片逼真度和字幕相似性，后者更受人类评估人员的青睐，还可以进行图像修复。
diffusion modelstext-conditional image synthesisclip guidanceclassifier-free guidanceimage inpainting
发现论文，激发创造
  • 通过语义扩散引导使图像合成更加可控

    该研究探讨了图像合成模型的细粒度、连续控制，提出了一种新的语义扩散引导统一框架，可以注入预训练的无条件扩散模型的语言或图像指导，并在 FFHQ 和 LSUN 数据集上进行了实验。

    Dec, 2021

  • 使用引导扩散模型编辑真实图像的知觉相似性引导与文本引导优化

    使用扩散模型进行图像编辑时，我们采用了双向引导的方法来保持未改变区域与原图的高度保真度。首先，我们使用文本嵌入来指导潜空间，并使用无分类器的引导进行优化。其次，我们使用感知相似性引导，在反向过程中通过 Tweedie 公式进行后验采样来优化潜空间向量。此方法既可以保证对编辑元素进行逼真渲染，又可以保护原图未编辑部分的完整性。

    Dec, 2023

  • SceneGenie: 基于场景图引导的扩散模型图像合成

    本文提出了一种针对扩散模型的新型引导方法，通过边界框和分割映射信息进行推理时间的采样过程，有效提高了文本到图像生成的准确性和分辨率，从而在场景图像生成方面取得了更好的表现和效果，并在公共基准测试中超越了基于场景图像和文本的扩散模型。

    Apr, 2023

  • DiffusionCLIP: 文本引导下的扩散模型用于稳健的图像处理

    该研究提出了一种名为 DiffusionCLIP 的新方法，该方法使用扩散模型进行文本驱动的图像操作，比现有基线表现更为优异，并允许简便的多属性操作。

    Oct, 2021

  • 3DDesigner: 基于文本引导扩散模型的照片般逼真的 3D 物体生成和编辑

    本文提出了一种基于文本引导扩散模型的 3D 场景生成、编辑和新视角合成方法，并重点讨论了 3D 一致性、本地编辑和单张图像训练等基础问题，取得了较好的效果。

    Nov, 2022

  • 生成 AI 中的文本与图像扩散模型：一项调查

    本文综述了文本到图像扩散模型的发展现状及其在生成任务中的应用；此外，介绍了文本条件下图像合成、文本引导的创意生成和图像编辑，并探讨了当前的挑战和未来方向。

    Mar, 2023

  • 使用定制扩散模型进行文本引导的图像编辑

    该研究提出了一种名为 Custom-Edit 的文本导向图像编辑方法，使用少量参考图像进行模型自定义，可以显著提高引用相似性同时保持源相似性，适用于各种数据集。

    May, 2023

  • 基于无条件扩散模型的实时文本驱动图像操作

    该论文研究了基于扩散模型的无条件文本驱动图像编辑方法的效率，并开发了一种新算法，可以快速学习和应用图像操作，从而提高实现应用的潜力。

    Apr, 2023

  • 即插即用扩散蒸馏

    我们提出了一种新的蒸馏方法，可以减少迭代计算过程中无需分类器指导的扩散模型的推理计算时间，并且只需要基础模型的 1％的可训练参数，同时还能维持生成图像的视觉逼真度。

    Jun, 2024

  • eDiff-I：使用专家去噪模型集合的文本到图像扩散模型

    该研究提出了一种基于扩散的生成模型，通过设计针对迭代生成过程的特殊模型，实现了更好的文本对齐，利用不同嵌入技术对模型进行调整，实现对参考图像风格进行自适应转换，并展示了一种 “文字涂鸦” 的技术，可帮助用户控制所需的图像输出。

    Nov, 2022