提出了一种基于多输入用户素描图的图像合成模型，可以使用户编辑或完整地生成所需的具有结构和内容的图像，通过实验证明了该模型能够在图像合成和编辑方面提供独特的用例。

Mar, 2023

使用扩散模型进行创意素描到图像的综合，表现为更自由、更精确，不依赖大规模的素描 - 图像数据集，同时也具有图像编辑和插值的应用。

May, 2023

本文提出了一种新的引导图像合成框架，该框架通过将输出图像建模为受约束优化问题的解决方案来解决领域偏移问题。同时，本文还展示了通过定义基于交叉注意力的输入文本符号和用户笔画之间的对应关系，用户可以在不需要任何条件训练或微调的情况下控制不同绘制区域的语义。

Nov, 2022

本论文中，我们介绍了一种使用自然语言输入生成矢量手绘素描的创新算法 DiffSketcher，并使用预训练的图像扩散模型进行开发。

Jun, 2023

调查论文对使用扩散模型进行图像编辑的现有方法进行了全面的概述，包括理论和实践方面，并从多个角度对这些作品进行了彻底分析和分类，介绍了学习策略、用户输入条件以及可以实现的特定编辑任务的组合。此外，对图像修复和扩展进行了特别关注，并探讨了早期的传统上下文驱动方法和当前的多模态条件方法，全面分析了它们的方法论。最后，讨论当前的限制并展望未来的研究方向。

Feb, 2024

通过揭示素描在扩散模型中的潜力，解决了生成人工智能直接素描控制的虚假承诺。我们巧妙地实现了专业素描生成精确图片的民主化过程，证实现有模型变形的空间限制性问题。为了纠正这个问题，我们提出了一种意识到抽象的框架，利用素描适配器，自适应时间步骤采样和经过预训练的精细化素描图像检索模型的辨别引导，协同工作以加强细粒度素描照片关联性。我们的方法在推理过程中无缝运行，无需文本提示；一张简单的草图就像你和我都可以创建的草图一样，就足够了！我们欢迎大家查看论文及其附加资料中展示的结果。贡献包括专业素描生成的民主化控制、引入意识到抽象的框架和利用辨别引导，通过大量实验证实。

Mar, 2024

通过使用导向梯度的扩散模型生成图像，我们提出了一种零样本技术 —— 运动导向，它允许用户指定复杂的运动场并精确编辑图像中对象的布局、位置、姿态和形状。通过同时从扩散模型中采样和引导样本以实现低导向损失，我们可以获得经过运动编辑的高质量图像。

Jan, 2024

扩散模型在图像生成和编辑领域取得了显著的成功。我们提出了一种创新的框架，其中包含一个修正模块，用残差特征调节扩散模型权重，以填补编辑过程中准确性的差距。此外，我们引入了一种新的学习范式，旨在在编辑过程中最小化错误传播。通过大量实验证明，我们的提议框架和训练策略在各种去噪步骤下实现了高保真的重建和编辑结果，并在定量指标和质量评估方面表现出色。此外，我们还通过图像到图像的转换和跨领域图像编辑等多个应用探索了模型的泛化能力。

Dec, 2023

本文提出了一种基于素描和文本引导的彩色点云生成概率扩散模型，通过结合物体的手绘素描和文本描述，联合进行去噪过程，逐步扩散点坐标和颜色值以达到高斯分布，从而产生所需形状和颜色的彩色点云生成结果。

Aug, 2023

该研究论文探讨了基于图像引导的扩散模型在参考图像引导下的素描着色，并提出了两种使用不同图像特征作为条件输入的变种隐式扩散模型，以及相应的调整结果方法。通过定性和定量实验以及用户研究，全面评估了这些模型的性能。

Jan, 2024