May, 2023

JoIN: 联合 GAN 逆向用于固有图像分解

PDF
TL;DR该研究提出使用 GAN 作为先验来解决不适定的反演成像问题，并将方法应用于面部和材料的固有图像分解。该方法建立在 GAN 成功捕捉复杂图像分布的基础上，并展示了通过逆转多个 GAN 来维持分布先前的可能性，其是模块化的，可以成功地分解合成和真实图像，并利用 GAN 潜在空间的属性，提供了额外的优势，如图像重照。
发现论文，激发创造
  • GAN 反向传播：一项调查

    本文综述了 GAN 反演技术及其最近的算法和应用，尤其是其在图像编辑和修复方面的应用，探讨了 GAN 潜在空间的解释和现实图像生成的趋势和挑战。

    Jan, 2021

  • 针对忠实重建和可编辑性的领域内 GAN 逆转

    通过在原始潜在空间中规范反转代码，本研究提出了领域指导编码器和领域正则化优化器，以满足对图像编辑应用的需求，实现了广泛的编辑功能。

    Sep, 2023

  • 针对真实图像编辑的域内 GAN 反演

    本文提出了一种域内 GAN 反演方法，旨在通过一个新颖的领域引导编码器将真实图像映射到 GAN 的本机潜在空间中，从而精确重构输入图像并同时确保倒置代码在语义域内，以便支持各种基于变化倒置代码的图像编辑任务。实验表明，我们的反演方法实现了令人满意的真实图像重建，同时大大提高了各种图像编辑任务的效率，并远远超过了当前领先的方法。

    Mar, 2020

  • 稳健的 GAN 倒置

    通过在本身潜在空间中调节生成器网络来恢复缺失的图像细节，我们的方法在重建质量和计算效率方面优于传统方法，具有更低的失真和 4 倍少的参数数量。

    Aug, 2023

  • GAN 反演的多样修复和编辑

    利用样式生成对抗网络（StyleGAN）的潜在空间，将真实图像反转并通过语义丰富的特征表示进行多项编辑，进一步扩展到将被擦除的图像反转到 GAN 的潜在空间中进行逼真修复和编辑的更为困难的任务，通过将反转的潜在编码与随机样本的 StyleGAN 映射特征组合，通过训练编码器和混合网络，利用生成的数据来鼓励混合网络同时利用两个输入，并利用高速特征来防止修复部分与未被擦除部分的颜色不一致，并通过与先进的反转和修复方法进行实验和对比，定量指标和视觉比较显示出显著的改进。

    Jul, 2023

  • 基于伪多视角优化的高保真三维 GAN 反演

    提出了一种高保真的三维对抗生成网络，可以在保留输入图像的特定细节的同时合成逼真的新视图。该方法通过伪多视图估计和能见度分析建立，有效解决了三维反演中的几何纹理平衡问题，并成功实现了单张图像的高保真三维重建和新视图合成。并且本方法亦适用于图像属性编辑和 3D 纹理修改，因此有望被广泛应用于人工智能生成的三维内容领域。

    Nov, 2022

  • EGAIN: 扩展的 GAN 逆向

    基于 EGAIN 架构的 GAN 逆向模型能够重构出真实面部图像的语义结构，具有优于现有模型的重建质量。

    Dec, 2023

  • 三维 GAN 反演的元辅网络

    该文章提出了一种新的元辅助框架，利用新开发的 3D GANs 作为生成器，在两个阶段中利用辅助网络来编辑输入图像，实现更好的 GAN 反演和图像编辑性能。

    May, 2023

  • 多视角反演的三维感知生成对抗网络

    当前针对人头的 3D GAN 反演方法通常只使用一个正面图像来重建整个 3D 头部模型，从而忽略了多视角数据或动态视频时的有意义信息。本研究基于现有先进的 3D GAN 反演技术，允许一致且同时地反演同一主体的多个视角。我们采用多潜变量扩展来处理动态人脸视频中的不一致性，从而从序列中重新合成一致的 3D 表示。由于我们的方法使用了有关目标主体的额外信息，我们观察到在几何精度和图像质量方面显著提高，尤其是在宽视角下的渲染。此外，我们展示了反演 3D 渲染的可编辑性，这使它们与基于 NeRF 的场景重建有所区别。

    Dec, 2023

  • HyperInverter: 通过超网络改进 StyleGAN 逆向

    本研究提供了一种基于编码器和超网络的方法以实现高重构质量、可编辑性和快速推理的 GAN 反演，并在两个具有挑战性的数据集上进行了广泛的实验以证明其优越性。

    Dec, 2021