ECCVJul, 2022

GAN 反演实现的单目 3D 物体重建

PDF
TL;DR通过利用预先训练的 3D GAN 生成先验来改善重建结果，本文提出了一种名为 MeshInversion 的新型框架，它在单视角观察下通过搜索最相似目标网格的 3D GAN 的潜在空间来实现重建，从而在 3D 空间中直接应用正则化，提供了未观测的网格部位的关键指导，实现了出色的 3D 重建。
发现论文，激发创造
  • 基于伪多视角优化的高保真三维 GAN 反演

    提出了一种高保真的三维对抗生成网络，可以在保留输入图像的特定细节的同时合成逼真的新视图。该方法通过伪多视图估计和能见度分析建立，有效解决了三维反演中的几何纹理平衡问题，并成功实现了单张图像的高保真三维重建和新视图合成。并且本方法亦适用于图像属性编辑和 3D 纹理修改，因此有望被广泛应用于人工智能生成的三维内容领域。

    Nov, 2022

  • 使用姿态优化的 3D GAN 反演

    本研究提出了一种通用的 3D GAN 反演方法，可以同时计算相机视角和潜变量代码，从而实现多视角一致的语义图像编辑。其关键在于利用预训练的估算器用于更好的初始化，并利用从 NeRF 参数计算的像素深度来更好地重构给定的图像。

    Oct, 2022

  • 多视角反演的三维感知生成对抗网络

    当前针对人头的 3D GAN 反演方法通常只使用一个正面图像来重建整个 3D 头部模型，从而忽略了多视角数据或动态视频时的有意义信息。本研究基于现有先进的 3D GAN 反演技术，允许一致且同时地反演同一主体的多个视角。我们采用多潜变量扩展来处理动态人脸视频中的不一致性，从而从序列中重新合成一致的 3D 表示。由于我们的方法使用了有关目标主体的额外信息，我们观察到在几何精度和图像质量方面显著提高，尤其是在宽视角下的渲染。此外，我们展示了反演 3D 渲染的可编辑性，这使它们与基于 NeRF 的场景重建有所区别。

    Dec, 2023

  • 从 2D GAN 数据中渐进式学习 3D 重建网络

    本文介绍了一种使用生成式对抗网络（GAN）生成的多视角图像数据集重建高质量纹理三维模型的方法，其具有可忽略的注释成本，并通过多阶段学习和在线伪标签生成的新颖对抗学习流水线实现了精细的细节并显著改善了之前的方法。

    May, 2023

  • 三维 GAN 反演的元辅网络

    该文章提出了一种新的元辅助框架，利用新开发的 3D GANs 作为生成器，在两个阶段中利用辅助网络来编辑输入图像，实现更好的 GAN 反演和图像编辑性能。

    May, 2023

  • 2D GANs 遇见无监督单视角 3D 重建

    提出了一种新的基于图像的神经隐式场方法，该方法利用基于 GAN 生成的多视图图像的 2D 监督，并通过不确定性模块来提高重构性能，从而实现了泛化物体的单视角 3D 重构。

    Jul, 2022

  • InvertAvatar：用于广义头像的增量 GAN 反演

    提出了一种新颖的框架，增量 3D GAN 逆转，通过增加逆转质量随帧数增加来提高数字头像重建性能，引入了一个带有两个关键修改的唯一可动画的 3D GAN 先验，以及一种基于 UV 参数化对纹理特征空间进行分类的创新神经纹理编码器。

    Dec, 2023

  • 从真实世界图像中学习纹理三维网格的生成模型

    本文提出了一种基于 GAN 框架生成纹理三角形网格的方法，可以不依赖关键点注释，同时在 ImageNet 上设置了新的基准，相比基于真实关键点的先前方法性能相当。

    Mar, 2021

  • 针对忠实重建和可编辑性的领域内 GAN 逆转

    通过在原始潜在空间中规范反转代码，本研究提出了领域指导编码器和领域正则化优化器，以满足对图像编辑应用的需求，实现了广泛的编辑功能。

    Sep, 2023

  • IsMo-GAN: 对单目非刚性三维重建的敌对式学习

    本文提出了使用 IsMo-GAN 方法从单幅图像中直接进行三维重建的方法，该方法在轻量级合成数据集上以对抗的方式训练变形模型，并能够以超过 250 Hz 的速度从真实图像中重建表面，且优于现有方法在重建精度、运行时间、对未知表面的泛化性和遮挡健壮性方面。

    Apr, 2019