Dec, 2023

多视角反演的三维感知生成对抗网络

PDF
TL;DR当前针对人头的 3D GAN 反演方法通常只使用一个正面图像来重建整个 3D 头部模型，从而忽略了多视角数据或动态视频时的有意义信息。本研究基于现有先进的 3D GAN 反演技术，允许一致且同时地反演同一主体的多个视角。我们采用多潜变量扩展来处理动态人脸视频中的不一致性，从而从序列中重新合成一致的 3D 表示。由于我们的方法使用了有关目标主体的额外信息，我们观察到在几何精度和图像质量方面显著提高，尤其是在宽视角下的渲染。此外，我们展示了反演 3D 渲染的可编辑性，这使它们与基于 NeRF 的场景重建有所区别。
发现论文，激发创造
  • 基于伪多视角优化的高保真三维 GAN 反演

    提出了一种高保真的三维对抗生成网络，可以在保留输入图像的特定细节的同时合成逼真的新视图。该方法通过伪多视图估计和能见度分析建立，有效解决了三维反演中的几何纹理平衡问题，并成功实现了单张图像的高保真三维重建和新视图合成。并且本方法亦适用于图像属性编辑和 3D 纹理修改，因此有望被广泛应用于人工智能生成的三维内容领域。

    Nov, 2022

  • 使用姿态优化的 3D GAN 反演

    本研究提出了一种通用的 3D GAN 反演方法，可以同时计算相机视角和潜变量代码，从而实现多视角一致的语义图像编辑。其关键在于利用预训练的估算器用于更好的初始化，并利用从 NeRF 参数计算的像素深度来更好地重构给定的图像。

    Oct, 2022

  • InvertAvatar：用于广义头像的增量 GAN 反演

    提出了一种新颖的框架，增量 3D GAN 逆转，通过增加逆转质量随帧数增加来提高数字头像重建性能，引入了一个带有两个关键修改的唯一可动画的 3D GAN 先验，以及一种基于 UV 参数化对纹理特征空间进行分类的创新神经纹理编码器。

    Dec, 2023

  • 可控肖像图像动画的 3D GAN 反向推导

    本文提出了一种基于新开发的三维生成对抗网络（GANs）的画像图像动画的技术，该技术允许对图像主体的姿态进行明确控制，并展示了该方法在图像质量，身份保护和姿态转移等方面胜过先前的方法，同时支持属性修改。

    Mar, 2022

  • 三维 GAN 反演的元辅网络

    该文章提出了一种新的元辅助框架，利用新开发的 3D GANs 作为生成器，在两个阶段中利用辅助网络来编辑输入图像，实现更好的 GAN 反演和图像编辑性能。

    May, 2023

  • 基于扩散驱动的 GAN 反向传递用于多模态人脸图像生成

    我们提出了一种新的多模态人脸图像生成方法，通过将文本提示和视觉输入转化为逼真的人脸图像，结合了生成对抗网络和扩散模型的优势，并通过简单映射和风格调节网络将两个模型结合起来，将特征图和注意力图中的有意义的表示转化为潜空间编码。使用预训练的生成对抗网络的翻转，可以生成 2D 或 3D 感知的面部图像。我们进一步提出了一种多步骤训练策略，将文本和结构表示反映到生成的图像中。我们的方法生成逼真的 2D、多视图和风格化的人脸图像，并与输入对齐。我们使用预训练的 2D 和 3D 生成对抗网络验证了我们的方法，结果优于现有方法。

    May, 2024

  • GAN 反演实现的单目 3D 物体重建

    通过利用预先训练的 3D GAN 生成先验来改善重建结果，本文提出了一种名为 MeshInversion 的新型框架，它在单视角观察下通过搜索最相似目标网格的 3D GAN 的潜在空间来实现重建，从而在 3D 空间中直接应用正则化，提供了未观测的网格部位的关键指导，实现了出色的 3D 重建。

    Jul, 2022

  • JoIN: 联合 GAN 逆向用于固有图像分解

    该研究提出使用 GAN 作为先验来解决不适定的反演成像问题，并将方法应用于面部和材料的固有图像分解。该方法建立在 GAN 成功捕捉复杂图像分布的基础上，并展示了通过逆转多个 GAN 来维持分布先前的可能性，其是模块化的，可以成功地分解合成和真实图像，并利用 GAN 潜在空间的属性，提供了额外的优势，如图像重照。

    May, 2023

  • 基于可微分渲染的图像 GAN 逆向图形学和可解释的 3D 神经渲染

    本文利用可微分渲染器提取并分离生成模型中的 3D 知识，将生成对抗网络作为多视图数据生成器，使用现成的可微分渲染器训练逆向图形网络，并将训练好的逆向图形网络作为教师，将 GAN 的潜在向量分离为可解释的 3D 属性。我们的方法在现有数据集上对最先进的逆向图形网络进行定量和用户研究，并显示分离的 GAN 作为可控的 3D “神经渲染器”，补充传统的图形渲染器。

    Oct, 2020

  • 稳健的 GAN 倒置

    通过在本身潜在空间中调节生成器网络来恢复缺失的图像细节，我们的方法在重建质量和计算效率方面优于传统方法，具有更低的失真和 4 倍少的参数数量。

    Aug, 2023