可变频率扩散模型用于多功能文本引导的图像至图像翻译

AAAIJul, 2024

可变频率扩散模型用于多功能文本引导的图像至图像翻译

Frequency-Controlled Diffusion Model for Versatile Text-Guided Image-to-Image Translation

Xiang Gao, Zhengbo Xu, Junhan Zhao, Jiaying Liu

TL;DR本研究提出了一种基于频域角度的频率控制扩散模型（FCDiffusion），用于文本导向的图像之间转换，通过离散余弦变换滤波模块将源图像的潜在特征在 DCT 域中进行滤波，从而产生带有不同 DCT 频谱波段的过滤图像特征，作为预训练的潜在扩散模型的不同控制信号来连接源图像和生成的图像。与相关方法不同，FCDiffusion 建立了一种统一的文本导向图像转换框架，适用于各种图像转换任务，仅通过在推理时在不同频率控制分支之间切换即可。通过广泛的定性和定量实验，我们证明了我们的方法在文本导向的图像转换中的有效性和优越性。

Abstract

Recently, large-scale text-to-image (T2I) diffusion models have emerged as a powerful tool for image-to-image translation (I2I), allowing open-domain image translation via user-provided text prompts. This paper proposes frequency-controlled diffusion model (FCDiffusion), an end-to-end

text-to-image diffusion models frequency-controlled diffusion model text-guided image-to-image translation discrete cosine transform image translation tasks

发现论文，激发创造

基于文本的图像到图像翻译的即插即用扩散特征

研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

Nov, 2022

可控生成的文本 - 图像扩散模型：一份综述

在控制生成方面与文本到图像扩散模型的研究领域，通过调查文献并总结了控制性生成，包括基本概念和实践研究。

Mar, 2024

通过频率引导扩散模型实现零样本医学图像翻译

使用频域滤波器来指导扩散模型，以实现结构保留图像翻译的频率引导扩散模型（FGDM），同时在医学图像翻译中具有零样本学习的能力。该模型在结构保留医学图像翻译任务中具有良好的性能。

Apr, 2023

通过语义扩散引导使图像合成更加可控

该研究探讨了图像合成模型的细粒度、连续控制，提出了一种新的语义扩散引导统一框架，可以注入预训练的无条件扩散模型的语言或图像指导，并在 FFHQ 和 LSUN 数据集上进行了实验。

Dec, 2021

多模态引导下的图像编辑与文本到图像扩散模型调查

图像编辑以满足用户特定需求为目标，近年来作为人工智能生成内容 (AIGC) 领域的一项有前景且具有挑战性的研究得到广泛关注。本篇综述针对利用文本转图像扩散模型进行多模态引导的图像编辑技术进行了全面回顾，介绍了综合的图像编辑范畴、各种控制信号和编辑场景，提出了一个统一的框架来规范编辑过程，并分成两个主要算法体系，为用户实现特定目标提供了一个设计空间。另外，对于基于训练的方法，我们讨论了它们的特点和适用场景，并介绍了在不同场景下源图像注入的方案。此外，我们还回顾了将二维技术应用于视频编辑，并突出了解决帧间不一致问题的解决方案。最后，我们讨论了该领域面临的开放性挑战，并提出了潜在的未来研究方向。

Jun, 2024

滤波引导扩散：针对黑盒扩散模型的快速滤波引导

本研究通过在每个扩散步骤的输入上应用自适应滤波器（不需要任何额外的培训或网络内部特征），提供与最新的基于体系结构依赖方法相竞争的快速和强大的基线，并允许更连续地调整指导强度。除此之外，还可以用作简单的附加组件，以增强其他最先进的 I2I 方法的结构指导。

Jun, 2023

TCIG：两阶段受控图像生成与质量增强

最近几年，在文本到图像生成模型的发展方面取得了显著进展。然而，这些模型在生成过程中仍然面临着实现完全可控性的局限性。为了解决这些挑战，提出了一种有效结合可控性和高质量的图像生成的两阶段方法。该方法通过利用预训练模型的专业知识实现对生成图像的精确控制，并利用扩散模型的强大功能实现卓越的质量。通过将可控性与高质量分开，该方法取得了出色的结果，并且与当前领域的最新方法产生了可比较的结果。总体而言，该方法在文本到图像生成方面代表了一项重大进展，实现了在生成图像质量上不妥协的同时提升了可控性。

Mar, 2024

将几何控制融入文本 - 图像扩散模型以通过文本提示进行高质量检测数据生成

本文提出 GeoDiffusion，一种简单的框架，可以将各种几何条件灵活地转化为文本提示，为预训练的文本到图像扩散模型赋能高质量检测数据生成，实验证明它在维护更快的训练时间的同时优于先前的 L2I 方法。

Jun, 2023

FreeControl：无需训练的任意文本到图像扩散模型的空间控制与任意条件

FreeControl 是一种无需训练的可控文本生成方法，支持多种条件、架构和检查点，并在定性和定量实验中展现了卓越性能。

Dec, 2023

UDiffText: 通过字符感知扩散模型在任意图像中实现高质量文本合成的统一框架

使用预训练扩散模型（即 Stable Diffusion [27]）进行文本图像生成的新方法，通过设计和训练轻量级字符级文本编码器，以更强的文本嵌入作为条件指导，使用大规模数据集微调扩散模型，在字符级分割图的监督下实现局部注意控制，通过推断阶段的优化过程，在合成给定图像中的文本时获得显著高的序列准确性。我们的方法优于现有技术，并展示了 UDiffText 的几个潜在应用，包括以文本为中心的图像合成、场景文本编辑等。

Dec, 2023