CVPRMar, 2024

不要深入黑暗：众多图像修复的潜在代码

PDF
TL;DR大掩蔽众生成图像修复方法，基于离散潜变量的生成框架，通过仅在图像可见位置执行计算的方式来学习潜在先验，利用限制性部分编码器预测每个可见块的令牌标签，双向转换器通过仅查看这些令牌推断缺失的标签，专用合成网络将令牌与部分图像先验相耦合，即使在极端掩蔽设置下也能生成连贯且多样的完整图像，公共基准测试表明所提方法在视觉质量和多样性指标上优于强基线模型。
large-mask pluralistic image inpaintinggenerative frameworkdiscrete latent codespartial encoderbidirectional transformer
发现论文，激发创造
  • 对比学习用于多样性解缠前景生成

    本研究提出了一种新方法，使用对比学习和潜在编码来进行前景生成，实现了明确控制各种因素，获得多样性和可控性的生成结果，比现有技术更优秀。

    Nov, 2022

  • 基于 Transformer 的多元化图像补全与信息丢失降低

    基于 Transformer 的图像修复方法存在信息丢失问题，为解决这个问题，我们提出了 PUT 框架，利用自编码器和非量化 Transformer 来保留图像信息并增加多样性。

    Mar, 2024

  • 减少 Transformer 多元图像修复中的信息丢失

    提出了一种新的基于 Transformer 的框架 PUT，其中包括自动编码器 P-VQVAE 和无量化 Transformer（UQ-Transformer），以尽可能保留输入信息并消除量化所引起的信息丢失。

    May, 2022

  • 深度生成模型在语义图像修复中的应用

    本文提出了一种基于生成模型的新型语义图像修复方法，该方法可在缺失的内容相互独立的情况下进行推理，并取得超越其他方法的像素级真实感。

    Jul, 2016

  • 一种简单的潜隐扩散方法用于全景分割和蒙版修复

    该论文介绍了使用稳定的扩散和潜在扩散方法进行全景分割的架构，它通过训练浅层自动编码器和扩散模型实现了对分割掩模的操控，呈现了全景分割和遮罩修复的有 promising 结果。

    Jan, 2024

  • GAN Inversion 高保真图像修复

    本文提出了一种新的用于图像修复的 GAN 反演模型 InvertFill，它包括一个带有预调制模块的编码器和一个包含 F&W + 潜在空间的 GAN 生成器。通过使用 F&W + 潜在空间和 Soft-update Mean Latent 模块，该模型能够更好地实现图像修复。该模型在四个具有挑战性的数据集上的综合实验结果表明，在视觉和定量上优于现有的高级方法，并且很好地支持跨域图像的修复。

    Aug, 2022

  • MAT: 大洞图像修复的掩模感知 Transformer

    本文提出了一种基于 transformer 的大孔修复模型，它结合了大尺寸的图像处理和 transformer 的优势，通过在注意力模块中定制面向修复的 transformer 块并使用动态掩码来聚合非局部信息，得到了在多个基准数据集上最先进的效果。

    Mar, 2022

  • WavePaint: 自监督修复的高效混合器

    本文介绍了一种基于 WaveMix 的全卷积神经网络结构 WavePaint 用于图像修复，采用 2D 离散小波变换进行空间和多分辨率的令牌混合，与目前最先进的模型相比，WavePaint 模型参数更少，具有相当的泛化性。

    Jul, 2023

  • GAN 反演的多样修复和编辑

    利用样式生成对抗网络（StyleGAN）的潜在空间，将真实图像反转并通过语义丰富的特征表示进行多项编辑，进一步扩展到将被擦除的图像反转到 GAN 的潜在空间中进行逼真修复和编辑的更为困难的任务，通过将反转的潜在编码与随机样本的 StyleGAN 映射特征组合，通过训练编码器和混合网络，利用生成的数据来鼓励混合网络同时利用两个输入，并利用高速特征来防止修复部分与未被擦除部分的颜色不一致，并通过与先进的反转和修复方法进行实验和对比，定量指标和视觉比较显示出显著的改进。

    Jul, 2023

  • 基于多模态的无偏导向图像修复

    该论文介绍了一种用于图像修复的新型深度神经网络，该网络包含了一个修复分支和两个辅助分支，能够有效地利用多模式定位和语义信息，实现对各种正 / 不规则图像遮挡的修复，达到了最好的效果。

    Aug, 2022