Sep, 2023

RealFill: 基于参考图像的真实图像修复生成

PDF
TL;DRRealFill 是一种新的生成式修复模型，通过只使用少量与目标图像无需对齐且具有不同视角、光照条件、相机光圈或图像风格的参考图像个性化，能够以视觉上引人注目且忠实于原始场景的内容填充图像的缺失区域。在各种不同且具有挑战性的场景中，我们发现 RealFill 在新的图像修复基准测试中表现优于现有方法。
generative imageryoutpaintinginpainting modelsrealfillimage completion
发现论文，激发创造
  • FaithFill: 使用单个参考图像进行准确修复的物体补全

    FaithFill 是一种基于扩散的填补方法，用于逼真地生成缺失物体部分，使用单个参考图像生成多个视角的物体内插，达到了逼真地保留形状、纹理、颜色和背景的效果。

    Jun, 2024

  • 上下文感知图像补全

    本文提出了一种名为 Refill 的基于 Transformer 网络和前景背景语义分割的图像修复模型，通过对原始场景上下文的考虑，生成高质量的缺失部分内容。实验证明该模型优于现有的 state-of-the-art 方法。

    Oct, 2022

  • 引导式图像修补：通过另一幅图像提取内容替换图像区域

    本文提出了一种基于端到端网络的图像修复方法，使用不同的图像来引导合成新的内容并填充空洞，并在四项研究中展示了优于七种基线方法的更逼真的图像修复结果。

    Mar, 2018

  • NeRFiller: 通过生成式 3D 修补完成场景

    提出了一种名为 NeRFiller 的方法，使用现成的 2D 视觉生成模型进行基于生成式 3D 修复的 3D 捕捉的缺失部分的填充。与相关工作相比，我们的方法侧重于完成场景，而不是删除前景对象，并且不需要紧贴 2D 对象掩码或文本。

    Dec, 2023

  • TransFill：多模态颜色和空间变换引导下的参考图像修复

    本文提出了一种名为 TransFill 的图像修复方法，该方法通过参考与目标图像具有相同场景内容的另一幅源图像来填补缺失区域，通过多重单应性变换和像素级融合达到了当前最先进的性能。

    Mar, 2021

  • 生成性人脸补全

    本文提出一种基于深度生成模型的有效面部完成算法，通过神经网络直接生成缺失区域的内容，并通过重构损失、两种对抗性损失和语义分割损失进行训练，能够处理任意形状的大面积丢失像素并生成逼真的面部完成结果。

    Apr, 2017

  • 基于上下文的图像修复：推断、匹配和翻译

    本文提出了一种基于深度神经网络和纹理传播的学习方法来完成图像修复，通过分离任务为推理和翻译两个步骤并用简单的启发式算法指导局部纹理从边界到空洞的传播，我们证明了我们的方法在几个公共数据集上能够产生比以前的最先进方法更高质量的视觉结果。

    Nov, 2017

  • 深度生成模型在语义图像修复中的应用

    本文提出了一种基于生成模型的新型语义图像修复方法，该方法可在缺失的内容相互独立的情况下进行推理，并取得超越其他方法的像素级真实感。

    Jul, 2016

  • GRIG：少样本生成式残差图像修复

    提出了一种使用 CNN 和 Transformers 进行全局推理的 few-shot generative residual image inpainting 方法，通过图像级和补丁级鉴别器及伪造补丁的对抗训练策略实现高质量修复效果，并通过对比评估表明该方法优于以往的 few-shot image inpainting 方法。

    Apr, 2023

  • 具有上下文关注机制的生成图像修复

    本文提出了一种基于生成模型和卷积神经网络的图像修补方法，通过利用周围图像特征进行网络训练，生成的修补图像具有更高的质量和更逼真的纹理结构。

    Jan, 2018