MAG-Edit：基于掩模的注意力调整引导的复杂情景下的局部图像编辑

Dec, 2023

MAG-Edit：基于掩模的注意力调整引导的复杂情景下的局部图像编辑

MAG-Edit: Localized Image Editing in Complex Scenarios via $\underline{M}$ask-Based $\underline{A}$ttention-Adjusted $\underline{G}$uidance

PDF

Qi Mao, Lan Chen, Yuchao Gu, Zhen Fang, Mike Zheng Shou

TL;DR我们开发了 MAG-Edit，这是一种无需训练、推断阶段优化的方法，能够在复杂场景中进行局部图像编辑。MAG-Edit 通过最大化编辑标记的两个基于掩模的交叉注意力约束来优化扩散模型中的噪声潜在特征，逐渐增强与所需提示的局部对齐。大量的定量和定性实验证明了我们的方法在复杂场景中实现了文本对齐和结构保护的有效性。

Abstract

Recent diffusion-based image editing approaches have exhibited impressive editing capabilities in images with simple compositions. However, localized editing in complex scenarios has not been well-studied in the

diffusion-based image editing localized editing complex scenarios mag-edit inference-stage optimization

发现论文，激发创造

MagGAN：带掩模的生成对抗网络高分辨率人脸属性编辑

本文提出了一种面向高分辨率人脸属性编辑的掩码引导生成对抗网络 (MagGAN)，通过使用预先训练的人脸分析器中的语义面部掩码来指导细粒度的图像编辑过程。

Oct, 2020

区域：零样本指导下的局部编辑

基于 Zero-shot 指令引导的局部图像编辑方法 ZONE 通过转换用户提供的指令，实现了对特定图像区域的任意操作，同时保留其他区域的编辑友好性，展现了出色的局部编辑效果，优于现有的最先进方法。

Dec, 2023

iEdit: 弱监督下的本地化文本指导图像编辑

提出了一种新的学习方法 iEdit，用于文本引导的图像编辑，包括数据集的自动构建、无监督损失函数和分割掩模引导编辑。该模型在 200K 个样本的数据集上进行训练，并在图像保真度、CLIP 对齐性得分和编辑生成和真实图像方面显示出优越的结果。

May, 2023

InstructEdit：通过用户指令改进基于扩散的图像编辑自动蒙版

本文提出了一种名为 InstructEdit 的框架，其中包括了语言处理器，分段器和图像编辑器三个组件，这种框架可以根据用户的指令进行细粒度的编辑，且在输入图像中包含复杂对象或多个对象的精细编辑应用中表现优异。

May, 2023

基于优化的多模态语义图像编辑

我们提出了一种推理时间编辑优化方法，旨在通过两个专门的损失函数，成功地完成本地图像修改和全局内容一致性保留的竞争子任务，实现文本、姿势和涂鸦等多种编辑指令类型的灵活编辑解决方案，并通过定性和定量实验证明了我们能够实现复杂的编辑。

Nov, 2023

SmartEdit: 利用多模型大型语言模型探索基于复杂指令的图像编辑

SmartEdit 是一种基于指令的图像编辑方法，利用多模态大型语言模型（MLLMS）增强理解和推理能力，并通过双向交互模块实现输入图像和 MLLM 输出之间的综合双向信息交互，从而实现更复杂指令下的图像编辑。通过新构建的 Reason-Edit 评估数据集，定量和定性结果表明 SmartEdit 优于先前的方法，为复杂指令 - based 图像编辑的实际应用铺平了道路。

Dec, 2023

LIME: 基于扩散模型中的关注正则化的本地图像编辑

本文介绍了一种基于扩散模型的局部图像编辑方法，利用预训练模型和简单的聚类技术获取精确的语义分割图，通过交叉注意力图对这些分割进行精细调整，并提出了一种新颖的交叉注意力正则化技术，以确保局部编辑。这种方法在各种编辑基准测试中稳定地改善了现有方法的性能。

Dec, 2023

DesignEdit: 多层次潜空间分解与融合的统一精准图像编辑

通过将空间感知图像编辑任务转化为多层隐变量分解和多层隐变量融合两个子任务，结合遮罩自注意力和抑制伪影技术，我们提出了一种统一的框架，实现精确图像编辑，并证明该方法在各种准确图像编辑任务中的性能超过了最新的空间编辑方法。

Mar, 2024

FEAT: 带有注意力机制的人脸编辑

本文介绍了一种基于 StyleGAN 生成器和学习到的注意力图的方法，通过在编辑图像时使用注意力图作为掩蔽层，同时使用 CLIP 算法来引导潜空间的编辑，实现对面部局部区域的控制性编辑。实验结果表明，与其他替代方法相比，我们的方法可以实现非常可控的面部区域编辑，具有更好的性能。

Feb, 2022

Pix2Pix-OnTheFly：借助 LLMs 实现指导图像编辑

该研究论文通过语言处理和图像处理的组合吸引了越来越多的关注，其中一项最具挑战性的任务是仅基于自然语言指令对图像进行编辑。本论文提出了一种无需准备的方法，通过图像字幕和 DDIM 反演、获取编辑方向嵌入以及图像编辑等三个步骤有效地进行指令引导的图像编辑，该方法在 MAGICBRUSH 数据集上表现出色，优于最新的先进模型。

Mar, 2024