本文提出了一种基于深度对抗图像合成框架，结合草图轮廓和稀疏颜色笔画生成逼真的汽车、卧室或人脸。我们展示了一个基于草图的图像合成系统，允许用户在草图上涂鸦以指示所需对象的首选颜色。该网络是前向的，可以实时看到用户编辑的效果。与最近关于草图到图像合成的研究进行了比较，表明我们的方法可以生成更逼真、更多样和更可控的输出，并且对于灰度图像的用户引导上色也很有效。

Dec, 2016

我们介绍了一种与艺术家的迭代细化过程相适应的新型素描到图像工具。我们的工具允许用户绘制出粗略表示物体放置和形状的阻塞笔触以及用于精炼形状和轮廓的详细笔触。我们开发了一个两步算法，从这些素描中的任意时刻生成高保真度图像。第一步中，我们使用 ControlNet 生成完全遵循所有笔触（阻塞笔触和详细笔触）的图像，第二步通过给阻塞笔触周围的区域添加噪声来增加变异性。我们还提出了一种数据集生成方案，用于训练 ControlNet 架构，使不包含笔触的区域被解释为尚未指定的区域而不是空白空间。我们展示了这种部分素描感知的 ControlNet 能够从仅含少量笔触的部分素描中生成连贯的元素。我们的方法生成的高保真度图像可以作为脚手架，帮助用户调整物体的形状和比例，或者在构图中添加额外的元素。我们通过各种例子和评估性比较证明了我们方法的有效性。

Feb, 2024

引入了一种多模态的着色方法，通过利用预训练的稳定扩散模型，支持高度可控的交互式图像着色，解决了多种限制性问题，包括用户互动、局部着色、非自然色彩渲染、色彩变化不足和色彩溢出。

Feb, 2024

该论文提出了一个基于 GAN 框架的新方法，用于从简笔画和风格参考图像中合成带有颜色和纹理的详细艺术风格图像；该方法采用了双重遮罩机制、特征映射转换技术以及反实例标准化过程等模块，以增强风格一致性和内容约束，并取得了显著的合成性能提升。

Feb, 2020

本文提出了一种基于用户交互的边缘增强网络，通过简单的用户涂鸦指示增强哪些感兴趣区域，实现对色彩渗透问题的有效改善，且只需要用户进行最小的努力。实验结果表明，与现有基线相比，我们的交互式边缘增强方法在各种数据集上有效地改善了色彩渗透问题。

Jul, 2021

通过使用仅两种类型的条件图像对生成进行精确控制，我们提出了一种新的方法 Stable Diffusion Reference Only，它是一个仅参考图像到图像的自监督模型，加速了二次绘画。我们在动画、漫画和二次创作领域实现了最先进的结果，验证了该结构的有效性并大大提高了生产效率。

Nov, 2023

本研究提出了一种基于参考图像的自动着色任务的方法，使用几何失真的相同图像作为虚拟参考，以保证着色输出图像的基本真实性和密集语义对应关系，在内部注意机制中利用密集语义对应关系实现了颜色从参考到草图输入的转换，并在定量和定性评估中展示了该方法的有效性。

May, 2020

该研究论文探讨了基于图像引导的扩散模型在参考图像引导下的素描着色，并提出了两种使用不同图像特征作为条件输入的变种隐式扩散模型，以及相应的调整结果方法。通过定性和定量实验以及用户研究，全面评估了这些模型的性能。

Jan, 2024

该论文提出了一种名为 Sketch3D 的新型生成算法，通过形状保持生成过程实例化给定的草图，根据参考图像推断出粗糙的三维高斯先验，并生成基于三维高斯的多视角一致性引导图像，通过三种策略优化三维高斯，从而生成具有真实感的三维资产并与输入一致。

Apr, 2024

通过揭示素描在扩散模型中的潜力，解决了生成人工智能直接素描控制的虚假承诺。我们巧妙地实现了专业素描生成精确图片的民主化过程，证实现有模型变形的空间限制性问题。为了纠正这个问题，我们提出了一种意识到抽象的框架，利用素描适配器，自适应时间步骤采样和经过预训练的精细化素描图像检索模型的辨别引导，协同工作以加强细粒度素描照片关联性。我们的方法在推理过程中无缝运行，无需文本提示；一张简单的草图就像你和我都可以创建的草图一样，就足够了！我们欢迎大家查看论文及其附加资料中展示的结果。贡献包括专业素描生成的民主化控制、引入意识到抽象的框架和利用辨别引导，通过大量实验证实。

Mar, 2024