Feb, 2024

HI-GAN: 层次修复生成对抗网络用于合并的 RGB 和深度修复

PDF
TL;DR我们提出了一种新的分层修复 GAN（HI-GAN），它由三个 GAN 组成，EdgeGAN 和 LabelGAN 分别修复边缘图像和分割标签图像，而 CombinedRGBD-GAN 则结合它们的潜在输出并进行 RGB 和深度修复，同时边缘图像和分割标签图像作为辅助输入显著增强了修复性能，并通过分层优化实现了端到端的操作，实验证明 HI-GAN 在整体上表现优于现有方法。
发现论文，激发创造
  • 上下文感知分层深度修复的三维摄影

    提出一种将单个 RGB-D 输入图像转换成 3D 照片的方法，其中包含了多层的新视角综合结构，可以补全原始视角中被遮挡区域的缺失的颜色和深度信息，并经验证在各种现实场景中比现有技术实现更少的图像伪影。

    Apr, 2020

  • 室内深度补全的 RGB-Depth 融合 GAN

    本文提出了一种基于深度信息补全技术，使用 RGB 图像和不完整的深度图像进行输入，设计了一种新的两支分支端对端融合网络，其中一个支路使用编码器 - 解码器结构从原始深度图中对局部密集深度值进行回归，另一个分支提出了一种 RGB 深度融合 GAN，通过自适应融合模块和置信度融合头来融合这两个分支的输出，从而实现了对室内环境中丢失深度数据的精确补全。

    Mar, 2022

  • GAN 反演的多样修复和编辑

    利用样式生成对抗网络（StyleGAN）的潜在空间，将真实图像反转并通过语义丰富的特征表示进行多项编辑，进一步扩展到将被擦除的图像反转到 GAN 的潜在空间中进行逼真修复和编辑的更为困难的任务，通过将反转的潜在编码与随机样本的 StyleGAN 映射特征组合，通过训练编码器和混合网络，利用生成的数据来鼓励混合网络同时利用两个输入，并利用高速特征来防止修复部分与未被擦除部分的颜色不一致，并通过与先进的反转和修复方法进行实验和对比，定量指标和视觉比较显示出显著的改进。

    Jul, 2023

  • GAN Inversion 高保真图像修复

    本文提出了一种新的用于图像修复的 GAN 反演模型 InvertFill，它包括一个带有预调制模块的编码器和一个包含 F&W + 潜在空间的 GAN 生成器。通过使用 F&W + 潜在空间和 Soft-update Mean Latent 模块，该模型能够更好地实现图像修复。该模型在四个具有挑战性的数据集上的综合实验结果表明，在视觉和定量上优于现有的高级方法，并且很好地支持跨域图像的修复。

    Aug, 2022

  • 利用生成对抗网络的图像外延和融合

    本研究提出了两种用于图像外推的方法，即使用上下文编码器和单图像生成模型，并演示了 GAN 在产生合理的外推结果方面的潜在能力。通过将幻想的细节与原始图像的风格相融合，以期进一步提高结果的质量，并可能支持任意输出分辨率。

    Dec, 2019

  • 基于上下文注意力机制和 SRGAN 的图像修复系统

    该研究使用深度学习、图像分类和计算机视觉技术的综合方法，利用全称为生成对抗网络（GAN）和上下文关注机制实现图像修复

    Apr, 2022

  • 室内深度填充的 RGB - 深度融合 CycleGAN (RDFC-GAN)

    使用 RDFC-GAN 模型基于 Manhattan world 假设将 RGB-D 信息转换为具有高纹理的深度图，并通过自适应融合模块 W-AdaIN 和 confidence fusion head 来解决室内深度图中大量连续缺失数据的深度完成问题。

    Jun, 2023

  • 画出框框之外：使用 GAN 进行图像外放

    通过深度学习的方式，利用基于 DCGAN 架构的图像分割技术及本地鉴别器提升图像边界的质量，从而实现图片的画外部分（extrapolation），其结果表明利用深度学习方法进行画外部分的研究既可行又具有前景。

    Aug, 2018

  • DeepGIN: 极端图像修复的深层生成填充网络

    本文提出了一种名为 DeepGIN 的深度生成修复网络，采用空间金字塔扩张 ResNet、多尺度自注意力机制和反向投影技术等方法实现多种类型图像修复，且在 FFHQ 和 Oxford Buildings 数据集中比其他具有代表性的方法表现更好。

    Aug, 2020

  • PD-GAN: 图像修复的概率分布式生成对抗网络

    PD-GAN 是一种基于 GAN 的图像修复方法，其利用 SPDNorm 和感知多样性损失来平衡图像修复的真实性和多样性，实验证明其可以生成更多样性和真实性更高的修复图像。

    May, 2021