CVPRMar, 2021

采用分层 VQ-VAE 对图像修复生成多样化结构

PDF
TL;DR本文提出了一种基于 VQ-VAE 的两阶段模型，在第一阶段生成多个不同结构的粗略结果，第二阶段对于每个粗略结果进行纹理增强，其中纹理生成网络中的结构注意模块利用结构信息捕获远程相关性。这种方法不仅增强了图像修复解的多样性，还提高了生成的多张图像的视觉质量。
image inpaintingmultiplesolutiondiverse resultsvq-vaestructural attention
发现论文，激发创造
  • 利用 VQ-VAE-2 生成多样高保真度图像

    本文探讨矢量量化变分自编码器模型 (VQ-VAE) 进行大规模图像生成的应用，采用自回归先验信息，结合简单前馈编码器和解码器网络，以压缩的潜变量空间进行自动回归模型采样，同时使用多尺度层级 VQ-VAE 进行生成，取得比 Generative Adversarial Networks 更加优秀的样本生成品质。

    Jun, 2019

  • 基于纹理和结构双重生成的图像修补

    该研究提出了一种新的双流网络方法，能够模拟结构约束纹理合成和纹理引导结构重构，并且通过 Bi-directional Gated Feature Fusion 模块和 Contextual Feature Aggregation 模块实现更好的全局一致性和多尺度特征聚合，定量和定性实验证明了该方法的优越性。

    Aug, 2021

  • 层次化 Patch VAE-GAN：从单一样本生成多样化视频

    本文提出了一种使用基于 patch 的变分自编码器（VAE）生成多样化视频的新方法，并将其与更细节的 patch-GAN 相结合，以在保证多样性的同时生成高质量视频。实验结果表明，该方法不仅可以生成多样化的图像，还可以处理更具挑战性的视频领域。

    Jun, 2020

  • 分层量化自编码器

    该研究使用层次 VQ-VAE 近似压缩图像，同时保持感知质量和抽象特征。在 CelebA 和 MNIST 数据集上进行了定性和定量评估。

    Feb, 2020

  • 图像细粒度修复

    本文提出了一种利用扩张卷积密集组合，通过设计自主回归损失、几何对齐约束项和具有局部和全局分支的判别器等方法改进图像修复的 GAN 模型。实验表明，该方法在多个公共数据集上都优于现有的最先进方法。

    Feb, 2020

  • StructureFlow: 结构感知外观流进行图像修复

    本文提出了一个两阶段模型来解决图像修复中细节和结构重建的问题，第一阶段采用保边平滑图像训练结构重建器，第二阶段基于重构的结构设计纹理生成器来生成图像细节，实验证明该模型表现优异。

    Aug, 2019

  • 朝向准确的图像编码：动态向量量化改进自回归图像生成

    提出了一种新的两阶段框架，它使用动态量化 VAE 将图像区域编码为基于其信息密度的可变长度代码，以实现更准确，更紧凑的代码表示，从而解决了现有 VQ 基于自回归模型的固定长度编码问题，该方法通过一种新的堆叠 Transformer 架构和共享内容、独立位置输入层设计，从粗粒度到细粒度生成图像。

    May, 2023

  • 具有上下文关注机制的生成图像修复

    本文提出了一种基于生成模型和卷积神经网络的图像修补方法，通过利用周围图像特征进行网络训练，生成的修补图像具有更高的质量和更逼真的纹理结构。

    Jan, 2018

  • 基于 Transformer 的多元化图像补全与信息丢失降低

    基于 Transformer 的图像修复方法存在信息丢失问题，为解决这个问题，我们提出了 PUT 框架，利用自编码器和非量化 Transformer 来保留图像信息并增加多样性。

    Mar, 2024

  • 学习结构知识以进行图像修复

    本文提出一个多任务学习框架，通过图像结构知识来辅助图像修复，并引入结构嵌入方案和注意机制来提供图像修复的前提条件和优化生成的结果，在多任务学习，结构嵌入和注意力机制的共同作用下，该框架充分利用结构知识，并在基准数据集上优于几种最先进的方法。

    Feb, 2020