CVPRApr, 2024
以草图为引导的局部离散扩散图像修复
Sketch-guided Image Inpainting with Partial Discrete Diffusion Process
Nakul Sharma, Aditay Tripathi, Anirban Chakraborty, Anand Mishra
TL;DR本研究工作中，我们研究了基于草图引导的图像修复任务。与在捕捉语义细节方面表现出色的经过深入研究的自然语言引导图像修复不同，相对较少研究的草图引导修复提供了更强的用户控制力，可指定待修复对象的形状和姿势。作为这个任务的早期解决方案之一，我们引入了一种新颖的部分离散扩散过程（PDDP）。PDDP 的正向传递在图像的掩蔽区域损坏，而反向传递使用我们提出的草图引导双向转换器以依赖于手绘草图来重建这些掩蔽区域。所提出的新颖转换器模块接受两个输入 —— 包含待修复区域的图像和用于建模逆扩散过程的查询草图。这一策略有效地解决了草图与自然图像之间的领域差异，从而提高了修复结果的质量。在缺乏针对此任务的大规模数据集的情况下，我们从 MS-COCO 合成了一个数据集，用于对我们提出的框架进行训练和广泛评估，与文献中的各种竞争方法进行对比。定性和定量结果以及用户研究表明，所提出的方法可以修复与提供的草图的视觉外观相符的逼真对象。为了促进进一步的研究，我们已将我们的代码公开提供在此 https URL 。