Jan, 2024

一个示例下的扩散过程中的代表性特征提取

PDF
TL;DRDiffSketch 是一种从图像中生成各种风格化素描的方法，通过从预先训练好的扩散模型中选择代表性特征，我们的方法专注于从深层特征的丰富语义中选择。这种新颖的素描生成方法可以通过一个手绘图进行训练，通过将经过训练的生成器提炼成简化的提取器，确保了高效的素描提取。我们通过分析选择去噪扩散特征，并将这些选定的特征与 VAE 特征结合起来生成素描。此外，我们提出了一种使用条件生成方法来训练模型的采样方案。通过一系列比较，我们验证了提炼的 DiffSketch 不仅优于现有最先进的素描提取方法，而且在提取素描的任务中超过了基于扩散的风格化方法。
diffsketchstylized sketchesdeep featuressketch generation methodsketch extraction
发现论文，激发创造
  • 使用扩散模型进行草图控制图像合成

    使用扩散模型进行创意素描到图像的综合，表现为更自由、更精确，不依赖大规模的素描 - 图像数据集，同时也具有图像编辑和插值的应用。

    May, 2023

  • DiffSketcher：基于潜在扩散模型的文本引导矢量素描综合

    本论文中，我们介绍了一种使用自然语言输入生成矢量手绘素描的创新算法 DiffSketcher，并使用预训练的图像扩散模型进行开发。

    Jun, 2023

  • 以你的素描为中心：在扩散模型中实现民主化的素描控制

    通过揭示素描在扩散模型中的潜力，解决了生成人工智能直接素描控制的虚假承诺。我们巧妙地实现了专业素描生成精确图片的民主化过程，证实现有模型变形的空间限制性问题。为了纠正这个问题，我们提出了一种意识到抽象的框架，利用素描适配器，自适应时间步骤采样和经过预训练的精细化素描图像检索模型的辨别引导，协同工作以加强细粒度素描照片关联性。我们的方法在推理过程中无缝运行，无需文本提示；一张简单的草图就像你和我都可以创建的草图一样，就足够了！我们欢迎大家查看论文及其附加资料中展示的结果。贡献包括专业素描生成的民主化控制、引入意识到抽象的框架和利用辨别引导，通过大量实验证实。

    Mar, 2024

  • DiffFaceSketch: 利用素描引导潜在扩散模型合成高保真人脸图像

    该论文介绍了 Sketch-Guided 潜在扩散模型（SGLDM），它是一种基于 LDM 的网络架构，在配对的素描 - 面部数据集上进行训练，可以合成出不同表情，面部配饰和发型的高质量人脸图片。 SGLDM 通过使用 Multi-Auto-Encoder 和 Stochastic Region Abstraction，能够有效地处理抽象度不同的草图输入，与现有的方法相比提高了鲁棒性。

    Feb, 2023

  • SketchFFusion: 基于扩散模型的草图引导图像编辑

    本文提出了一种基于草图向量的条件扩散模型（SketchFFusion），用于实现基于用户提供的草图信息进行局部细节微调的图像编辑，并展示了其优于现有方法的生成性能。

    Apr, 2023

  • 基于结构感知扩散模型的素描参考图像合成

    提出了一种基于多输入用户素描图的图像合成模型，可以使用户编辑或完整地生成所需的具有结构和内容的图像，通过实验证明了该模型能够在图像合成和编辑方面提供独特的用例。

    Mar, 2023

  • 基于有限数据的生成先验进行风格化面部素描提取

    通过预训练的 StyleGAN 模型以及基于部分损失的两阶段学习技术，提出了 StyleSketch 方法，通过 16 对面部图像和相应的素描图像，训练了一个能够提取高分辨率风格化素描的生成器，并通过比较表明 StyleSketch 在提取高分辨率抽象人脸素描方面优于现有的最先进的素描提取方法和少量样本图像适应方法，同时还探索了其在其他领域的可用性和语义编辑的可能性。

    Mar, 2024

  • 知识扩散用于蒸馏

    本论文提出了一种名为 DiffKD 的新型知识蒸馏方法，其基于扩散模型显式去噪和匹配特征，以更好地实现精简干净特征和教师特征的蒸馏。在图像分类、对象检测和语义分割任务中，DiffKD 在各种特征类型上均取得了最先进的性能。

    May, 2023

  • U-Sketch：一种高效的草图到图像扩散模型方法

    使用 U-Sketch 框架和 U-Net 潜在边缘预测器，在草图到图像合成任务中取得了更好的结果，更好地符合参考草图的空间轮廓，并大大减少所需的去噪步骤和整体执行时间。

    Mar, 2024

  • 可调节的草图上色方法：基于参考图像和文本

    该研究论文探讨了基于图像引导的扩散模型在参考图像引导下的素描着色，并提出了两种使用不同图像特征作为条件输入的变种隐式扩散模型，以及相应的调整结果方法。通过定性和定量实验以及用户研究，全面评估了这些模型的性能。

    Jan, 2024