无训练的草图引导扩散模型与潜在优化

Aug, 2024

无训练的草图引导扩散模型与潜在优化

Training-Free Sketch-Guided Diffusion with Latent Optimization

Sandra Zhang Ding, Jiafeng Mao, Kiyoharu Aizawa

TL;DR本研究解决了现有文本到图像生成模型在用户对生成结果的精确控制方面的挑战。提出了一种新颖的无训练管道，利用草图作为附加条件，通过潜在优化方法提高生成图像与草图结构的准确性和保真度，从而增强用户在内容创作中的控制和定制选项。该方法有望在现实世界内容创作中提供更高的灵活性和质量。

Abstract

Based on recent advanced Diffusion Models, Text-to-image (T2I) generation models have demonstrated their capabilities in generating diverse and high-quality images. However, leveraging their potential for real-world content creation, particularly in providing users with precise control

发现论文，激发创造

基于文本的图像到图像翻译的即插即用扩散特征

研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

Nov, 2022

使用潜在扩散模型进行高保真度的图像合成引导

本文提出了一种新的引导图像合成框架，该框架通过将输出图像建模为受约束优化问题的解决方案来解决领域偏移问题。同时，本文还展示了通过定义基于交叉注意力的输入文本符号和用户笔画之间的对应关系，用户可以在不需要任何条件训练或微调的情况下控制不同绘制区域的语义。

Nov, 2022

生成AI中的文本与图像扩散模型: 一项调查

本文综述了文本到图像扩散模型的发展现状及其在生成任务中的应用；此外，介绍了文本条件下图像合成、文本引导的创意生成和图像编辑，并探讨了当前的挑战和未来方向。

Mar, 2023

SketchFFusion: 基于扩散模型的草图引导图像编辑

本文提出了一种基于草图向量的条件扩散模型（SketchFFusion），用于实现基于用户提供的草图信息进行局部细节微调的图像编辑，并展示了其优于现有方法的生成性能。