Jun, 2023

扩散中的扩散：循环单向扩散用于文本 - 视觉 - 有条件生成

PDF
TL;DR本文介绍了一种基于文本语义和像素级视觉条件同时进行的图像合成多模式方法及其框架（COW），通过诸如 COW 的方法，可以解决已有方法不能在保留低级视觉的情况下实现文本到图像合成的问题。
text-to-imagediffusion modelsmulti-modality generationcyclic one-way diffusionimage synthesis
发现论文，激发创造
  • 可控生成的文本 - 图像扩散模型：一份综述

    在控制生成方面与文本到图像扩散模型的研究领域，通过调查文献并总结了控制性生成，包括基本概念和实践研究。

    Mar, 2024

  • 一步图像翻译与文本到图像模型

    通过对抗学习目标，将单步扩散模型通过整合各种模块成为单一的端到端生成网络，以提高其保留输入图像结构并减少过拟合的能力，我们的模型在非配对设置下优于现有的基于 GAN 和扩散的方法，实现了各种场景转换任务，如昼夜转换和添加 / 删除雾、雪和雨等天气效果；在配对设置中，我们的模型与现有的作品如 Sketch2Photo 和 Edge2Image 的 Control-Net 不相上下，但具有单步推理。

    Mar, 2024

  • 条件式扩散模型文本图像生成

    本文提出一种名为 CTIG-DM 的新方法，它结合了图像条件、文本条件和风格条件来控制样本在图像生成过程中的属性、内容和风格。经过大量的实验，证明 CTIG-DM 能够产生模拟现实世界复杂性和多样性的图像样本，具有很强的潜力用于领域适应和生成包含 OOV（Out-Of-Vocabulary）词的图像。

    Jun, 2023

  • 生成 AI 中的文本与图像扩散模型：一项调查

    本文综述了文本到图像扩散模型的发展现状及其在生成任务中的应用；此外，介绍了文本条件下图像合成、文本引导的创意生成和图像编辑，并探讨了当前的挑战和未来方向。

    Mar, 2023

  • 探索文本到图像扩散模型的工作机制

    通过研究强潜在扩散概率模型在 T2I 生成过程中的中间状态，发现图像在早期生成阶段主要由文本引导完成，之后概率模型通过自身信息来完善生成图像的细节，并进一步提出了去除文本引导以加速 T2I 生成过程的方法，加速效果达到 25%+

    May, 2024

  • 从文本到掩码：使用文本 - 图像扩散模型的注意力定位实体

    本研究揭示了扩散模型中隐藏的丰富多模态知识的一种新方法，用于分割任务。

    Sep, 2023

  • 同步多视角扩散下的文本引导纹理

    介绍一种新颖的方法用于合成给定 3D 对象的纹理，通过预训练的文本到图像扩散模型，提出了一种同步多视点扩散方法，早期生成的纹理内容达成一致，确保纹理的一致性。

    Nov, 2023

  • 基于无条件扩散模型的实时文本驱动图像操作

    该论文研究了基于扩散模型的无条件文本驱动图像编辑方法的效率，并开发了一种新算法，可以快速学习和应用图像操作，从而提高实现应用的潜力。

    Apr, 2023

  • 通过语义扩散引导使图像合成更加可控

    该研究探讨了图像合成模型的细粒度、连续控制，提出了一种新的语义扩散引导统一框架，可以注入预训练的无条件扩散模型的语言或图像指导，并在 FFHQ 和 LSUN 数据集上进行了实验。

    Dec, 2021

  • 可变频率扩散模型用于多功能文本引导的图像至图像翻译

    本研究提出了一种基于频域角度的频率控制扩散模型（FCDiffusion），用于文本导向的图像之间转换，通过离散余弦变换滤波模块将源图像的潜在特征在 DCT 域中进行滤波，从而产生带有不同 DCT 频谱波段的过滤图像特征，作为预训练的潜在扩散模型的不同控制信号来连接源图像和生成的图像。与相关方法不同，FCDiffusion 建立了一种统一的文本导向图像转换框架，适用于各种图像转换任务，仅通过在推理时在不同频率控制分支之间切换即可。通过广泛的定性和定量实验，我们证明了我们的方法在文本导向的图像转换中的有效性和优越性。

    Jul, 2024