本文提出了一种基于文本指导的图像编辑系统 Imagen Editor，通过利用对象检测器提出文本提示的修复遮罩并使用高分辨率图像来处理细节来实现忠实于输入文本且与输入图像一致的编辑，并提出一个名为 EditBench 的系统化基准来评估编辑效果。研究发现在训练过程中进行对象遮罩处理，可以显著提高文本与图像的对齐度和整体渲染效果，同时相较于文本渲染而言，这种方法在物体渲染和处理材料 / 颜色 / 大小属性上效果更佳。

Dec, 2022

本研究提出了一种名为 PhD 的框架，它利用样例图像和文本描述来指定用户意图，通过对生成或编辑的图像进行插入、修补和协调来保证其视觉一致性，并通过实验验证其在主题驱动的图像编辑和基于参考主题的文本驱动场景生成方面均达到了最先进的性能。

Jun, 2023

本文提出一种名为 TDANet 的图像修复模型，其通过文本的描述信息和图像的辅助区域来确定修复区的语义内容，利用双模态注意机制提取出明确的语义信息并应用图像与文本匹配损失，其结果表明，在两个公开数据集上，TDANet 模型在定量和定性评测中均达到了新的最佳水平，并且生成的图像与文本描述一致。

Apr, 2020

本研究介绍了一种新颖的任务 —— 基于文本导向的主题驱动图像修复，它将文本和示例图像结合起来进行图像修复。通过同时适应这两个条件，我们提出了一种两步法的方法 ——DreamInpainter，该方法通过计算密集的主题特征来确保准确的主题复制，并利用一个有区分性的令牌选择模块来消除多余的主题细节，保留主题的身份，同时允许根据其他条件（如遮罩形状和文本提示）进行更改。此外，我们引入了一种解耦正则化技术，以增强在存在示例图像的情况下对文本的控制。我们广泛的实验证明了我们的方法在视觉质量、身份保护和文本控制方面的卓越性能，展示了它在文本导向的主题驱动图像修复的情境中的有效性。

Dec, 2023

本研究提出了一种新的图像修复方法，结合了神经网络的先验知识和用户的引导，使用自动编码器和语义解码器完成两个阶段，实现对修复结果的自定义控制，实验结果表明该方法在修复质量和可控性方面优于现有方法。

Jan, 2022

通过整合先进的生成人工智能（GenAI）和计算机视觉技术，本研究探索了一种综合方法，重点是图像操作。研究的有效性在实验中得到验证，强调了其在生成引人注目内容方面的潜力，使用户能够根据特定提示对个人照片进行服装和背景的修改，无需手动输入修复遮罩，从而有效地将主题植入创意想象的广阔景观中。

Feb, 2024

这篇论文介绍了一种基于文本提示的区域图像编辑方法，无需用户提供的掩码或草图，通过利用现有的预训练文本到图像模型和引入边界框生成器来找到与文本提示对齐的编辑区域，实现了与当前图像生成模型兼容的灵活的编辑，并处理了包含多个对象、复杂句子或长段落的复杂提示。通过广泛的用户研究实验证明我们方法在操纵图像时与提供的语言描述相一致，具有高保真度和逼真度的竞争性表现。

Nov, 2023

本文提出了一种基于端到端网络的图像修复方法，使用不同的图像来引导合成新的内容并填充空洞，并在四项研究中展示了优于七种基线方法的更逼真的图像修复结果。

Mar, 2018

基于 T2I 扩散模型，本研究提出了一种局部感知反演（LocInv）方法，通过利用分割地图或边界框作为额外的定位先验，精确修正扩散过程中的交互关注图，使其与文本提示中的正确名词和形容词单词紧密对齐，从而实现对特定对象的细粒度图像编辑，并防止对其他区域产生不希望的改变。该方法在 COCO 数据集的子集上经过广泛评估，定量和定性地都取得了优秀的结果。

May, 2024

本文提出了一种基于深度学习的人脸修复算法，结合人脸关键点预测和图像修复，实现了对人脸姿态、表情和遮挡等多方面的修复。在 CelebA-HQ 和 CelebA 数据集上的实验表明，该算法在视觉效果和定量评估上均超过了现有算法。同时，本文还发现高质量的修复图像和其关键点可以有效提高关键点预测模型的性能，在 300W 和 WFLW 数据集上也得到了验证。

Nov, 2019