文本引导神经图像修复

MMApr, 2020

Text-Guided Neural Image Inpainting

Lisai Zhang, Qingcai Chen, Baotian Hu, Shuoran Jiang

TL;DR本文提出一种名为 TDANet 的图像修复模型，其通过文本的描述信息和图像的辅助区域来确定修复区的语义内容，利用双模态注意机制提取出明确的语义信息并应用图像与文本匹配损失，其结果表明，在两个公开数据集上，TDANet 模型在定量和定性评测中均达到了新的最佳水平，并且生成的图像与文本描述一致。

Abstract

image inpainting task requires filling the corrupted image with contents coherent with the context. This research field has achieved promising progress by using neural image inpainting methods. Nevertheless, ther

image inpainting neural networks semantic information text-guided image generation dual attention

发现论文，激发创造

使用语义指导的交互式图像修复

本研究提出了一种新的图像修复方法，结合了神经网络的先验知识和用户的引导，使用自动编码器和语义解码器完成两个阶段，实现对修复结果的自定义控制，实验结果表明该方法在修复质量和可控性方面优于现有方法。

Jan, 2022

深度生成模型在语义图像修复中的应用

本文提出了一种基于生成模型的新型语义图像修复方法，该方法可在缺失的内容相互独立的情况下进行推理，并取得超越其他方法的像素级真实感。

Jul, 2016

具有上下文关注机制的生成图像修复

本文提出了一种基于生成模型和卷积神经网络的图像修补方法，通过利用周围图像特征进行网络训练，生成的修补图像具有更高的质量和更逼真的纹理结构。

Jan, 2018

基于多模态的无偏导向图像修复

该论文介绍了一种用于图像修复的新型深度神经网络，该网络包含了一个修复分支和两个辅助分支，能够有效地利用多模式定位和语义信息，实现对各种正 / 不规则图像遮挡的修复，达到了最好的效果。

Aug, 2022

引导式图像修补：通过另一幅图像提取内容替换图像区域

本文提出了一种基于端到端网络的图像修复方法，使用不同的图像来引导合成新的内容并填充空洞，并在四项研究中展示了优于七种基线方法的更逼真的图像修复结果。

Mar, 2018

DreamInpainter: 基于文本引导的主题驱动图像修复通过扩散模型

本研究介绍了一种新颖的任务 —— 基于文本导向的主题驱动图像修复，它将文本和示例图像结合起来进行图像修复。通过同时适应这两个条件，我们提出了一种两步法的方法 ——DreamInpainter，该方法通过计算密集的主题特征来确保准确的主题复制，并利用一个有区分性的令牌选择模块来消除多余的主题细节，保留主题的身份，同时允许根据其他条件（如遮罩形状和文本提示）进行更改。此外，我们引入了一种解耦正则化技术，以增强在存在示例图像的情况下对文本的控制。我们广泛的实验证明了我们的方法在视觉质量、身份保护和文本控制方面的卓越性能，展示了它在文本导向的主题驱动图像修复的情境中的有效性。

Dec, 2023

全局结构引导扩散模型的文本图像修复

该论文旨在建立一个用于研究的基准，解决真实世界文本由于环境或人为因素导致的腐蚀问题，以及在当前的修复技术中存在的困难，通过提出一种新的神经框架来恢复清晰的文本，改善文本图像的识别准确性和图像质量。

Jan, 2024

改进基于文本引导的图像修复的跨模态对齐

本研究提出了一种基于视听语言预训练模型和对跨模态对齐知识的改进的跨模态对齐模型的图像修复方法，通过在两个流行的视听语言数据集上的实验表明，该模型相对于其他强竞争对手的性能达到了最佳水平。

Jan, 2023

语义感知的混合场景图像修复的指导与评估

本研究提出了一种基于语义引导和评估网络的图像修复算法，该算法在每个缩放级别利用语义分割图指导图像修复过程，并利用迭代更新方法实现结构先验和图像修复的协同更新，实验结果表明该方法在图像纹理清晰度和真实感等方面具有优越性。

Mar, 2020

基于上下文注意力机制和 SRGAN 的图像修复系统

该研究使用深度学习、图像分类和计算机视觉技术的综合方法，利用全称为生成对抗网络（GAN）和上下文关注机制实现图像修复

Apr, 2022