CVPRMar, 2024

以你的素描为中心：在扩散模型中实现民主化的素描控制

PDF
TL;DR通过揭示素描在扩散模型中的潜力，解决了生成人工智能直接素描控制的虚假承诺。我们巧妙地实现了专业素描生成精确图片的民主化过程，证实现有模型变形的空间限制性问题。为了纠正这个问题，我们提出了一种意识到抽象的框架，利用素描适配器，自适应时间步骤采样和经过预训练的精细化素描图像检索模型的辨别引导，协同工作以加强细粒度素描照片关联性。我们的方法在推理过程中无缝运行，无需文本提示；一张简单的草图就像你和我都可以创建的草图一样，就足够了！我们欢迎大家查看论文及其附加资料中展示的结果。贡献包括专业素描生成的民主化控制、引入意识到抽象的框架和利用辨别引导，通过大量实验证实。
发现论文，激发创造
  • 使用扩散模型进行草图控制图像合成

    使用扩散模型进行创意素描到图像的综合，表现为更自由、更精确，不依赖大规模的素描 - 图像数据集，同时也具有图像编辑和插值的应用。

    May, 2023

  • 基于结构感知扩散模型的素描参考图像合成

    提出了一种基于多输入用户素描图的图像合成模型，可以使用户编辑或完整地生成所需的具有结构和内容的图像，通过实验证明了该模型能够在图像合成和编辑方面提供独特的用例。

    Mar, 2023

  • DemoCaricature: 通过粗略素描实现漫画生成的民主化

    通过一张照片和概念草图，我们民主化了漫画生成，使个体能够轻松地制作个性化的漫画。通过明确的排名 - 1 模型编辑和单一图像个性化，我们在交叉注意力层中有选择地应用细微的编辑，实现身份和风格的无缝融合。此外，我们提出了随机遮罩重建来增强鲁棒性，使模型专注于独特的身份和风格特征。重要的是，我们的目标是消除艺术门槛，让爱好者参与到艺术创作中。

    Dec, 2023

  • SketchFFusion: 基于扩散模型的草图引导图像编辑

    本文提出了一种基于草图向量的条件扩散模型（SketchFFusion），用于实现基于用户提供的草图信息进行局部细节微调的图像编辑，并展示了其优于现有方法的生成性能。

    Apr, 2023

  • 具有显式抽象控制的有条件人类草图合成

    本文提出了一种新颖的自由手绘合成方法，其中包含针对有条件类和照片转素描合成的显式抽象控制。

    Jun, 2023

  • SketchDreamer：互动的文本增强创意草图构思

    通过与文本交互的过程，本文提出了一种名为 SketchDreamer 的方法，利用基于像素表示的图像的文本条件扩散模型训练来生成受控素描，并使文本和素描能够相互作用，以实现非专业用户创作素描，并将叙述扩展为故事板。

    Aug, 2023

  • DiffSketcher：基于潜在扩散模型的文本引导矢量素描综合

    本论文中，我们介绍了一种使用自然语言输入生成矢量手绘素描的创新算法 DiffSketcher，并使用预训练的图像扩散模型进行开发。

    Jun, 2023

  • 一个示例下的扩散过程中的代表性特征提取

    DiffSketch 是一种从图像中生成各种风格化素描的方法，通过从预先训练好的扩散模型中选择代表性特征，我们的方法专注于从深层特征的丰富语义中选择。这种新颖的素描生成方法可以通过一个手绘图进行训练，通过将经过训练的生成器提炼成简化的提取器，确保了高效的素描提取。我们通过分析选择去噪扩散特征，并将这些选定的特征与 VAE 特征结合起来生成素描。此外，我们提出了一种使用条件生成方法来训练模型的采样方案。通过一系列比较，我们验证了提炼的 DiffSketch 不仅优于现有最先进的素描提取方法，而且在提取素描的任务中超过了基于扩散的风格化方法。

    Jan, 2024

  • 使用潜在扩散模型进行高保真度的图像合成引导

    本文提出了一种新的引导图像合成框架，该框架通过将输出图像建模为受约束优化问题的解决方案来解决领域偏移问题。同时，本文还展示了通过定义基于交叉注意力的输入文本符号和用户笔画之间的对应关系，用户可以在不需要任何条件训练或微调的情况下控制不同绘制区域的语义。

    Nov, 2022

  • 从抽象草图生成照片般逼真的图像

    文章提出了一种通过 decoder 使用 StyleGAN 训练生成更加真实的照片，并且通过 autoregressive sketch mapper 和 fine-grained discriminative loss 处理手绘人类草图，实现草图到照片的转化；实验结果展示了其可行性和有效性，同时通过草图检索出生成的照片实现了在草图界的突破。

    Mar, 2023