Mar, 2024

TCIG：两阶段受控图像生成与质量增强

PDF
TL;DR最近几年，在文本到图像生成模型的发展方面取得了显著进展。然而，这些模型在生成过程中仍然面临着实现完全可控性的局限性。为了解决这些挑战，提出了一种有效结合可控性和高质量的图像生成的两阶段方法。该方法通过利用预训练模型的专业知识实现对生成图像的精确控制，并利用扩散模型的强大功能实现卓越的质量。通过将可控性与高质量分开，该方法取得了出色的结果，并且与当前领域的最新方法产生了可比较的结果。总体而言，该方法在文本到图像生成方面代表了一项重大进展，实现了在生成图像质量上不妥协的同时提升了可控性。
text-to-image generationcontrollabilityhigh qualitytwo-stage methoddiffusion models
发现论文，激发创造
  • 可控生成的文本 - 图像扩散模型：一份综述

    在控制生成方面与文本到图像扩散模型的研究领域，通过调查文献并总结了控制性生成，包括基本概念和实践研究。

    Mar, 2024

  • 条件式扩散模型文本图像生成

    本文提出一种名为 CTIG-DM 的新方法，它结合了图像条件、文本条件和风格条件来控制样本在图像生成过程中的属性、内容和风格。经过大量的实验，证明 CTIG-DM 能够产生模拟现实世界复杂性和多样性的图像样本，具有很强的潜力用于领域适应和生成包含 OOV（Out-Of-Vocabulary）词的图像。

    Jun, 2023

  • 本地条件控制文本到图像扩散模型

    本文介绍了一种新的简单而实用的任务设置：局部控制，它通过用户定义的图像条件在特定的局部区域进行控制，其余区域仅通过原始文本提示进行调节。我们提出了一种无需训练的方法，利用去噪过程中噪声潜变量和参数的更新，在交互注意力图中促进非控制区域的概念生成。此外，我们使用特征屏蔽约束解决局部控制区域内外信息差异导致的合成图像质量下降问题。广泛的实验表明，我们的方法可以在局部控制条件下合成出高质量的图像。

    Dec, 2023

  • 便携式操控：文图生成中多功能文字操控艺术作品创作

    我们提出了 AnyControl，这是一个支持多种不同控制信号任意组合的多控制图像合成框架，它使用了多模态的嵌入来引导生成过程，实现了对用户输入的整体理解，并通过广泛的定量和定性评估展示了高质量、忠实的生成结果。

    Jun, 2024

  • 多模态引导下的图像编辑与文本到图像扩散模型调查

    图像编辑以满足用户特定需求为目标，近年来作为人工智能生成内容 (AIGC) 领域的一项有前景且具有挑战性的研究得到广泛关注。本篇综述针对利用文本转图像扩散模型进行多模态引导的图像编辑技术进行了全面回顾，介绍了综合的图像编辑范畴、各种控制信号和编辑场景，提出了一个统一的框架来规范编辑过程，并分成两个主要算法体系，为用户实现特定目标提供了一个设计空间。另外，对于基于训练的方法，我们讨论了它们的特点和适用场景，并介绍了在不同场景下源图像注入的方案。此外，我们还回顾了将二维技术应用于视频编辑，并突出了解决帧间不一致问题的解决方案。最后，我们讨论了该领域面临的开放性挑战，并提出了潜在的未来研究方向。

    Jun, 2024

  • 使用扩散模型进行受控训练数据生成

    这项研究提出了一种利用反馈机制来控制文本到图像生成模型，以生成对监督学习特别有用的训练数据的方法，并且通过引入指导目标分布的反馈机制，演示了该方法在不同任务、数据集和架构上相对于开环方法的有效性。

    Mar, 2024

  • 通过语义扩散引导使图像合成更加可控

    该研究探讨了图像合成模型的细粒度、连续控制，提出了一种新的语义扩散引导统一框架，可以注入预训练的无条件扩散模型的语言或图像指导，并在 FFHQ 和 LSUN 数据集上进行了实验。

    Dec, 2021

  • ECNet: 有效可控的文本到图像扩散模型

    通过引入 Spatial Guidance Injector（SGI）和 Diffusion Consistency Loss（DCL）方法，我们提出了一种更准确的可控端到端文本到图像生成框架，其中 SGI 提供了更准确的条件输入，DCL 加强了对生成输出的控制，实验证明了我们方法在各种条件下显著提升了生成图像的可控性和稳健性，优于现有最先进的可控文本到图像模型。

    Mar, 2024

  • FlexEControl: 文本到图像生成的灵活高效多模控制

    提出了一种新颖的灵活高效的可控文本到图像生成方法 FlexEControl，其核心是一种独特的权重分解策略，能够有效地整合不同类型的输入，提高了生成图像与控制之间的准确性，同时显著降低了与多模态条件相关的计算开销。相比 Uni-ControlNet，该方法在可训练参数和内存使用方面分别减少了 41% 和 30%，且能够灵活生成在多种输入条件下引导的图像。

    May, 2024

  • 可变频率扩散模型用于多功能文本引导的图像至图像翻译

    本研究提出了一种基于频域角度的频率控制扩散模型（FCDiffusion），用于文本导向的图像之间转换，通过离散余弦变换滤波模块将源图像的潜在特征在 DCT 域中进行滤波，从而产生带有不同 DCT 频谱波段的过滤图像特征，作为预训练的潜在扩散模型的不同控制信号来连接源图像和生成的图像。与相关方法不同，FCDiffusion 建立了一种统一的文本导向图像转换框架，适用于各种图像转换任务，仅通过在推理时在不同频率控制分支之间切换即可。通过广泛的定性和定量实验，我们证明了我们的方法在文本导向的图像转换中的有效性和优越性。

    Jul, 2024