CVPRApr, 2023

基于样式的无监督单张图像明确 3D 人脸重建

PDF
TL;DR本文旨在提出一种解决由于深度歧义和遮挡而导致的从单个图像推断三维物体结构的无监督方法 ——Unsupervised 2D 到 Explicit 3D Style Transfer (UE3DST)，我们提出了一个通用的对抗学习框架，通过将 Wu 等人的无监督明确 3D 重建网络和 StarGAN-v2 之类的生成对抗网络 (GAN) 进行合并，我们在三个面部数据集 (Basel Face Model、3DFAW 和 CelebA-HQ) 上进行实验，结果表明我们的解决方案能够胜过 DepthNet 在 3D 重建和 Pix2NeRF 在条件样式转移方面已经建立的解决方案，相比之下，我们的方案产生了用于明确 3D 渲染的特征，可以在下游任务中进行操作和利用。
3d object structuresunsupervised 2d to explicit 3d style transferadversarial learningfacial datasets3d rendering
发现论文，激发创造
  • 2D GANs 遇见无监督单视角 3D 重建

    提出了一种新的基于图像的神经隐式场方法，该方法利用基于 GAN 生成的多视图图像的 2D 监督，并通过不确定性模块来提高重构性能，从而实现了泛化物体的单视角 3D 重构。

    Jul, 2022

  • 弱监督学习下的精确三维人脸重构：从单张图像到图像集

    本文提出了一种使用深度学习技术进行 3D 面部重建的新方法，其中使用了混合损失函数进行弱监督学习，同时利用多个图像进行面部重建，实现了快速、准确、鲁棒的重建效果，对不同数据集进行了综合实验，并与 15 种现有方法进行了比较，证明了其性能处于领先地位。

    Mar, 2019

  • 无监督深度估计，3D 人脸旋转以及替换

    本文提出了一种无监督学习方法，通过推断面部关键点的深度来预测面部的三维结构和姿态变换，从而实现将面部从一个姿态、几何形状转换成另一个姿态、几何形状等多种功能；同时，探索了对该方法的不足之处，提出使用对抗图像翻译技术作为后处理步骤以重新合成不同姿态或身份的面部的完整头像。

    Mar, 2018

  • 自然图像中的无监督生成式三维形状学习

    本文介绍了一种从自然图像中学习生成 3D 形状的生成模型的全面无监督方法，其中利用 GAN 等深度学习技术实现，从而生成出真实的三维图像，实现了从二维图像向三维图像的转换。

    Oct, 2019

  • 高效几何感知的三维生成对抗网络

    使用单视角 2D 照片集合进行高质量多视角一致的图片和 3D 形状的非监督生成一直是一个难题，本文提出了一种混合显式 - 隐式网络架构，用于提高 3D GANs 的计算效率和图像质量，实现了高分辨率实时多视角一致的图像合成，同时产生高质量的 3D 几何体。

    Dec, 2021

  • 3DSNet：无监督形状到形状的 3D 风格转换

    本研究提出了一种基于分离内容和风格表示的基于学习的方法，用于在 3D 对象之间进行风格转移，可以合成以目标 3D 模型为风格，来源 3D 模型为内容的新 3D 形状，同时我们还将其扩展到了多样式分布的隐式学习。实验结果证实了该方法在多个基准测试中的有效性。

    Nov, 2020

  • 通过野外 2D 面部图像辅助单张图像的 3D 面部重建

    使用 2D 图像辅助自监督学习的方法可大幅提高 3D 人脸模型的学习效果，该方法引入 4 种自监督方案，显著降低了对传统 2D 到 3D 配对注释的需求，从而在多种数据集上均取得大幅优于现有技术的 3D 重建和面部对齐结果。

    Mar, 2019

  • RGBD-GAN：通过 RGBD 图像合成从自然图像数据集中无监督学习 3D 表示

    该研究提出了一种基于 RGBD-GAN 的新型生成模型，可以从 2D 图像中实现无监督的 3D 表示学习，并能通过相机参数进行图像生成和深度图像生成，无需 3D 注释，通过实验证明其对各种生成器体系结构都具有普适性。

    Sep, 2019

  • 从 2D GAN 数据中渐进式学习 3D 重建网络

    本文介绍了一种使用生成式对抗网络（GAN）生成的多视角图像数据集重建高质量纹理三维模型的方法，其具有可忽略的注释成本，并通过多阶段学习和在线伪标签生成的新颖对抗学习流水线实现了精细的细节并显著改善了之前的方法。

    May, 2023

  • 基于 ImageNet 中的野外图像的几何感知 3D 生成

    从多样且非结构化的 Imagenet 数据集中，我们提出了一种从二维图像中重建三维几何模型的方法，使用高效的三平面表示法学习三维模型，并基于 StyleGAN2 的生成器架构对高度多样化的数据集进行调整，通过多视点辨别防止模式崩溃并提升训练稳定性。

    Jan, 2024