使用扩散模型进行草图控制图像合成
通过揭示素描在扩散模型中的潜力，解决了生成人工智能直接素描控制的虚假承诺。我们巧妙地实现了专业素描生成精确图片的民主化过程，证实现有模型变形的空间限制性问题。为了纠正这个问题，我们提出了一种意识到抽象的框架，利用素描适配器，自适应时间步骤采样和经过预训练的精细化素描图像检索模型的辨别引导，协同工作以加强细粒度素描照片关联性。我们的方法在推理过程中无缝运行，无需文本提示；一张简单的草图就像你和我都可以创建的草图一样，就足够了！我们欢迎大家查看论文及其附加资料中展示的结果。贡献包括专业素描生成的民主化控制、引入意识到抽象的框架和利用辨别引导，通过大量实验证实。
Mar, 2024
本文提出了一种新的引导图像合成框架，该框架通过将输出图像建模为受约束优化问题的解决方案来解决领域偏移问题。同时，本文还展示了通过定义基于交叉注意力的输入文本符号和用户笔画之间的对应关系，用户可以在不需要任何条件训练或微调的情况下控制不同绘制区域的语义。
Nov, 2022
本文提出了一种基于草图向量的条件扩散模型（SketchFFusion），用于实现基于用户提供的草图信息进行局部细节微调的图像编辑，并展示了其优于现有方法的生成性能。
Apr, 2023
提出了一种基于多输入用户素描图的图像合成模型，可以使用户编辑或完整地生成所需的具有结构和内容的图像，通过实验证明了该模型能够在图像合成和编辑方面提供独特的用例。
Mar, 2023
本论文中，我们介绍了一种使用自然语言输入生成矢量手绘素描的创新算法 DiffSketcher，并使用预训练的图像扩散模型进行开发。
Jun, 2023
本文提出了一种基于深度对抗图像合成框架，结合草图轮廓和稀疏颜色笔画生成逼真的汽车、卧室或人脸。我们展示了一个基于草图的图像合成系统，允许用户在草图上涂鸦以指示所需对象的首选颜色。该网络是前向的，可以实时看到用户编辑的效果。与最近关于草图到图像合成的研究进行了比较，表明我们的方法可以生成更逼真、更多样和更可控的输出，并且对于灰度图像的用户引导上色也很有效。
Dec, 2016
DiffSketch 是一种从图像中生成各种风格化素描的方法，通过从预先训练好的扩散模型中选择代表性特征，我们的方法专注于从深层特征的丰富语义中选择。这种新颖的素描生成方法可以通过一个手绘图进行训练，通过将经过训练的生成器提炼成简化的提取器，确保了高效的素描提取。我们通过分析选择去噪扩散特征，并将这些选定的特征与 VAE 特征结合起来生成素描。此外，我们提出了一种使用条件生成方法来训练模型的采样方案。通过一系列比较，我们验证了提炼的 DiffSketch 不仅优于现有最先进的素描提取方法，而且在提取素描的任务中超过了基于扩散的风格化方法。
Jan, 2024
该研究探讨了图像合成模型的细粒度、连续控制，提出了一种新的语义扩散引导统一框架，可以注入预训练的无条件扩散模型的语言或图像指导，并在 FFHQ 和 LSUN 数据集上进行了实验。
Dec, 2021
该研究论文探讨了基于图像引导的扩散模型在参考图像引导下的素描着色，并提出了两种使用不同图像特征作为条件输入的变种隐式扩散模型，以及相应的调整结果方法。通过定性和定量实验以及用户研究，全面评估了这些模型的性能。
Jan, 2024