该论文提出了一种新的绘画方法 Intelli-Paint，它可以学习生成具有更加自然的绘画风格的输出幅面。该方法通过引入渐进层叠策略、依据语义指导刷子移动以及刷子规范化策略等 3 个策略，成功地实现了 60-80% 的刷子数目减少而不影响画面的质量。

Dec, 2021

本文首次研究了无监督的手绘草图到照片的合成，提出了一种两阶段翻译任务的方法，添加自监督去噪目标和注意力模块以处理抽象和风格差异，生成的图片忠实于草图且逼真的，并可实现基于草图的图像检索和捕捉人类视觉感知。

Sep, 2019

我们提出了一种图像编辑方法，可以根据用户的书面指令编辑图像，同时我们结合了两个预训练模型的知识生成了大量训练数据，使用训练好的模型可以快速地编辑图像，并且可以适用于不同的输入图像和书面指令。

Nov, 2022

通过将 T2I 生成与模拟使用彩色绘画的交互相结合，PromptPaint 使用户能够超越语言来混合表达具有挑战性概念的提示，从而允许他们在图像生成过程的不同画布区域和时间应用不同的提示，并提供了有关未来可操控生成工具的深入洞察。

Aug, 2023

通过提出一种基于条件变换自动编码器 (VAE) 架构的双阶段解码器的创新方法 I-Paint，本研究旨在为用户在绘画过程中提供下一笔建议，以帮助提高创造力，并且通过引入两个新的数据集进行评估和刺激相关领域的研究。实验结果表明该方法提供良好的笔划建议，并与现有技术相比表现出优势。

Jul, 2023

本文提出了一种图像到绘画的翻译方法，采用矢量化环境并产生一系列具有物理意义的绘画参数，然后通过搜索参数最大化输入和渲染输出之间的相似度来框架笔画预测作为参数搜索过程，结果表明生成的画作在全局外观和局部纹理方面具有高度的保真度。

Nov, 2020

InstructAny2Pix 是一个灵活的多模态指令跟踪系统，其由多个组件组成，包括多模态编码器、扩散模型、多模态 LLM 和细化先验模块，能够根据来自音频、图像和文本的指令对输入图像进行编辑，实现了一系列新颖的指令引导编辑任务。

Dec, 2023

本研究探讨零样本语义图像绘画的问题。我们提出了一种新的方法，利用实际的文字描述，在合成图像中添加新的语义概念，通过结合最先进的逼真图像生成模型和文本 - 图像语义相似度网络，使用非梯度方法探索潜在空间，通过放松 GAN 的计算来针对特定区域的变化并进行用户研究进行比较。

Mar, 2021

本文提出了一种新的基于素描图的自然照片综合方法，采用无监督学习，结合标准化模块提取参考照片、在训练中提供假素描照片对，以及两种主要成分：全局场景结构和低级视觉风格的组合。实验结果表明，该方法可以生成具有高保真度的真实感照片，并且在相应场景素描的编辑方面具有更高的细节度，优于其他基于照片综合的方法。

Sep, 2022

提出了一种名为 pix2pix3D 的 3D 感知条件生成模型，可以进行可控的写实图像合成，并通过神经辐射场扩展了条件生成模型，从而实现了显式的 3D 用户控制，并建立了一个交互系统，允许用户从任意视角编辑标签图，并相应地生成输出。

Feb, 2023