使用扩散模型进行创意素描到图像的综合，表现为更自由、更精确，不依赖大规模的素描 - 图像数据集，同时也具有图像编辑和插值的应用。

May, 2023

提出了一种基于多输入用户素描图的图像合成模型，可以使用户编辑或完整地生成所需的具有结构和内容的图像，通过实验证明了该模型能够在图像合成和编辑方面提供独特的用例。

Mar, 2023

该论文介绍了 Sketch-Guided 潜在扩散模型（SGLDM），它是一种基于 LDM 的网络架构，在配对的素描 - 面部数据集上进行训练，可以合成出不同表情，面部配饰和发型的高质量人脸图片。 SGLDM 通过使用 Multi-Auto-Encoder 和 Stochastic Region Abstraction，能够有效地处理抽象度不同的草图输入，与现有的方法相比提高了鲁棒性。

Feb, 2023

本文提出了一种新的引导图像合成框架，该框架通过将输出图像建模为受约束优化问题的解决方案来解决领域偏移问题。同时，本文还展示了通过定义基于交叉注意力的输入文本符号和用户笔画之间的对应关系，用户可以在不需要任何条件训练或微调的情况下控制不同绘制区域的语义。

Nov, 2022

本文提出了一种基于草图向量的条件扩散模型（SketchFFusion），用于实现基于用户提供的草图信息进行局部细节微调的图像编辑，并展示了其优于现有方法的生成性能。

Apr, 2023

本论文中，我们介绍了一种使用自然语言输入生成矢量手绘素描的创新算法 DiffSketcher，并使用预训练的图像扩散模型进行开发。

Jun, 2023

Kandinsky1 是一种使用潜在扩散架构的文本到图像生成模型，与图像先验模型的原则结合，并通过修改的 MoVQ 实现作为图像自编码器组件，支持多样化的生成模式，有 8.03 的 FID 得分和可测量的图像生成质量。

Oct, 2023

本篇论文提出了一种基于 DDPM 的新型框架，用于语义图像合成，通过条件扩散模型来处理语义布局与噪声图像，而引入分类器自由的引导采样策略来进一步提高了生成质量和语义可解释性。

Jun, 2022

通过揭示素描在扩散模型中的潜力，解决了生成人工智能直接素描控制的虚假承诺。我们巧妙地实现了专业素描生成精确图片的民主化过程，证实现有模型变形的空间限制性问题。为了纠正这个问题，我们提出了一种意识到抽象的框架，利用素描适配器，自适应时间步骤采样和经过预训练的精细化素描图像检索模型的辨别引导，协同工作以加强细粒度素描照片关联性。我们的方法在推理过程中无缝运行，无需文本提示；一张简单的草图就像你和我都可以创建的草图一样，就足够了！我们欢迎大家查看论文及其附加资料中展示的结果。贡献包括专业素描生成的民主化控制、引入意识到抽象的框架和利用辨别引导，通过大量实验证实。

Mar, 2024

我们利用扩散 U-Net 的潜力，提出了一种名为 “FreeU” 的简单而有效的方法，通过重新加权 U-Net 的跳跃连接和骨干特征图的贡献，结合两个组件的优势，大大提高了生成质量。

Sep, 2023