Nov, 2023
随机性的恩惠：在基于扩散的图像编辑中，随机微分方程优于常微分方程
The Blessing of Randomness: SDE Beats ODE in General Diffusion-based Image Editing
Shen Nie, Hanzhong Allan Guo, Cheng Lu, Yuhao Zhou, Chenyu Zheng...
TL;DR我们提出了一种统一的概率形式用于扩散式图像编辑，其中潜变量以任务特定的方式进行编辑，并且通常偏离原始随机微分方程或常微分方程（SDE 或 ODE）引起的相应边际分布。代之以定义了一个相应的 SDE 或 ODE 进行编辑。我们在公式中证明了两个 SDE 之间的边际分布的 Kullback-Leibler 散度逐渐减小，而 ODE 的散度在时间趋近于零时保持不变，这表明了 SDE 在图像编辑中的优势。受此启发，我们针对各种任务（包括修复和图像到图像转换）提供了常用 ODE 基准的 SDE 对应项，其中 SDE 显示出一致而显著的改进。此外，我们还提出了基于 SDE 公式的简单而有效的点内容拖曳方法 SDE-Drag。我们创建了一个具有自然图像、艺术图像和 AI 生成图像的挑战性基准（称为 DragBench）进行评估。对 DragBench 的用户研究表明，SDE-Drag 在很大程度上胜过了我们的 ODE 基准、现有的基于扩散的方法以及著名的 DragGAN。我们的结果证明了 SDE 在图像编辑中的优势和多功能性，并推动了基于扩散的编辑方法的发展边界。