TL;DR基于 Zero-shot 指令引导的局部图像编辑方法 ZONE 通过转换用户提供的指令,实现了对特定图像区域的任意操作,同时保留其他区域的编辑友好性,展现了出色的局部编辑效果,优于现有的最先进方法。
Abstract
Recent advances in vision-language models like Stable Diffusion have shown
remarkable power in creative image synthesis and editing.However, most existing
text-to-image editing methods encounter two obstacles: Fi
该研究论文通过语言处理和图像处理的组合吸引了越来越多的关注,其中一项最具挑战性的任务是仅基于自然语言指令对图像进行编辑。本论文提出了一种无需准备的方法,通过图像字幕和 DDIM 反演、获取编辑方向嵌入以及图像编辑等三个步骤有效地进行指令引导的图像编辑,该方法在 MAGICBRUSH 数据集上表现出色,优于最新的先进模型。