本文介绍了一种基于 DragonDiffusion 的图像编辑方法，通过构建一个分类器指导策略，将编辑信号转化为梯度并利用特征对应损失修改分布式模型的中间表示，在保持原图像和编辑结果的一致性的同时，实现各种编辑模式，诸如物体移动、物体缩放、物体外观替换和内容拖动。

Jul, 2023

本文提出了一种基于条件扩散模型的语义图像编辑方法 DiffEdit，能够自动生成需要编辑的图像区域的遮罩，并利用潜在推理保留感兴趣区域的内容，该方法在 ImageNet 数据集上实现了最先进的编辑表现。

Oct, 2022

该研究提出了一种基于扩散的生成模型，通过设计针对迭代生成过程的特殊模型，实现了更好的文本对齐，利用不同嵌入技术对模型进行调整，实现对参考图像风格进行自适应转换，并展示了一种 “文字涂鸦” 的技术，可帮助用户控制所需的图像输出。

Nov, 2022

我们在这篇论文中提出了一种名为 InstDiffEdit 的新型高效图像编辑方法，它利用现有扩散模型的跨模态注意力能力，在扩散步骤中实现了即时的遮罩引导。我们将 InstDiffEdit 与 SOTA 方法进行了广泛的实验证明，结果显示它在图像质量和编辑结果方面不仅优于 SOTA 方法，而且推理速度快 5 至 6 倍。

Jan, 2024

图像编辑以满足用户特定需求为目标，近年来作为人工智能生成内容 (AIGC) 领域的一项有前景且具有挑战性的研究得到广泛关注。本篇综述针对利用文本转图像扩散模型进行多模态引导的图像编辑技术进行了全面回顾，介绍了综合的图像编辑范畴、各种控制信号和编辑场景，提出了一个统一的框架来规范编辑过程，并分成两个主要算法体系，为用户实现特定目标提供了一个设计空间。另外，对于基于训练的方法，我们讨论了它们的特点和适用场景，并介绍了在不同场景下源图像注入的方案。此外，我们还回顾了将二维技术应用于视频编辑，并突出了解决帧间不一致问题的解决方案。最后，我们讨论了该领域面临的开放性挑战，并提出了潜在的未来研究方向。

Jun, 2024

通过对噪音模式和扩散时间步进行优化，本文提出了基于 SD 的 TiNO-Edit 方法，其能够生成与原始图像更加吻合且符合预期结果的编辑结果，同时在 SD 的潜在域中提出了一组新的损失函数来加速优化过程。

Apr, 2024

该研究提出了一种名为 Custom-Edit 的文本导向图像编辑方法，使用少量参考图像进行模型自定义，可以显著提高引用相似性同时保持源相似性，适用于各种数据集。

May, 2023

本文主要讨论了通过提出新的基于模型的引导和基于修正的微调方法，解决利用单张图片进行图像编辑时过拟合问题的挑战。在扩展的实验中证明了该方法的有效性。

Dec, 2022

我们提出了一种统一的概率形式用于扩散式图像编辑，其中潜变量以任务特定的方式进行编辑，并且通常偏离原始随机微分方程或常微分方程（SDE 或 ODE）引起的相应边际分布。代之以定义了一个相应的 SDE 或 ODE 进行编辑。我们在公式中证明了两个 SDE 之间的边际分布的 Kullback-Leibler 散度逐渐减小，而 ODE 的散度在时间趋近于零时保持不变，这表明了 SDE 在图像编辑中的优势。受此启发，我们针对各种任务（包括修复和图像到图像转换）提供了常用 ODE 基准的 SDE 对应项，其中 SDE 显示出一致而显著的改进。此外，我们还提出了基于 SDE 公式的简单而有效的点内容拖曳方法 SDE-Drag。我们创建了一个具有自然图像、艺术图像和 AI 生成图像的挑战性基准（称为 DragBench）进行评估。对 DragBench 的用户研究表明，SDE-Drag 在很大程度上胜过了我们的 ODE 基准、现有的基于扩散的方法以及著名的 DragGAN。我们的结果证明了 SDE 在图像编辑中的优势和多功能性，并推动了基于扩散的编辑方法的发展边界。

Nov, 2023

提出一种新的框架，使用户能够为每个图像碎片自定义更改量，增强了现代扩散模型的灵活性和表达能力，且无需模型训练或微调，可直接应用于现有模型，量化和定性结果表明，该方法实现了更好的可控性，并可产生现有模型无法达到的结果。

Jun, 2023