ICLRNov, 2020

2D GAN 是否了解 3D 形状？从 2D 图像 GAN 进行 无监督的 3D 形状重建

PDF
TL;DR本研究提出一种基于 2D GAN 的 3D 几何线索挖掘框架，通过非监督学习实现从 2D 图像中恢复 3D 形状，无需 2D 关键点或 3D 注释，并能实现高质量的图像编辑。
3d shapesgansimage reconstructionunsupervised learningimage editing
发现论文，激发创造
  • 自然图像中的无监督生成式三维形状学习

    本文介绍了一种从自然图像中学习生成 3D 形状的生成模型的全面无监督方法，其中利用 GAN 等深度学习技术实现，从而生成出真实的三维图像，实现了从二维图像向三维图像的转换。

    Oct, 2019

  • RGBD-GAN：通过 RGBD 图像合成从自然图像数据集中无监督学习 3D 表示

    该研究提出了一种基于 RGBD-GAN 的新型生成模型，可以从 2D 图像中实现无监督的 3D 表示学习，并能通过相机参数进行图像生成和深度图像生成，无需 3D 注释，通过实验证明其对各种生成器体系结构都具有普适性。

    Sep, 2019

  • 2D GANs 遇见无监督单视角 3D 重建

    提出了一种新的基于图像的神经隐式场方法，该方法利用基于 GAN 生成的多视图图像的 2D 监督，并通过不确定性模块来提高重构性能，从而实现了泛化物体的单视角 3D 重构。

    Jul, 2022

  • 从多个物体的 2D 视图中识别 3D 形状

    本文提出了一种称之为 “PrGANs” 的方法，能够在无监督学习的情况下，训练出一个能够从二维视角中通过投影反推出三维结构分布的生成式模型，并能够实现从输入图像中预测三维形状和视点，并生成新视图的功能。

    Dec, 2016

  • 仅仅利用二维监督学习来生成和重建三维网格

    论文提出了一种统一框架，用于解决单幅图像特定类别的 3D 重建和新 3D 形状生成的问题。该方法支持弱监督学习，只需要单个实例的 2D 图像，使用网格作为输出表示，并利用光照信息提高了性能。实验结果表明，该方法在定量度量上与最新的基于体素方法相当或优于，而且结果更加美观，并且在弱监督学习方面表现良好。

    Jul, 2018

  • 使用对抗网络从图像集合推断三维形状

    通过 projective generative adversarial network（PrGAN）模型，我们可以在无监督学习的情况下，从提供的二维视图中推断出三维形状的概率分布，包括形状、视角和新的视图。

    Jun, 2019

  • 从图像中进行的无监督三维结构学习

    本文提出一种从 2D 图像中学习生成 3D 结构的深度生成模型，并通过概率推断从 3D 和 2D 图像中恢复这些结构，从而实现了第一个纯无监督学习下学习推断 3D 表示的方法，并在几个数据集上建立了基准模型。

    Jul, 2016

  • 逃离柏拉图的洞穴：对抗性渲染中的三维形状

    PlatonicGAN 通过训练神经网络生成 3D 模型，结合 2D 图像投影生成多种相机角度下的 2D 图像，支持无结构的 2D 图像集合恢复 3D 结构，并通过实验证明了其对于 3D 监督方法的优越性。

    Nov, 2018

  • 逆向图形生成对抗网络：从非结构化 2D 数据生成 3D 形状的学习

    本文提出了一种使用通用的不可微分渲染器训练来自 2D 数据的 3D 生成模型的可扩展方法，该方法引入了一个代理神经渲染器来匹配不可微分渲染器的输出。我们进一步提出鉴别器输出匹配以确保神经渲染器学习适当地平滑栅格化。当用纯 2D 图像进行训练时，我们的模型可以比现有模型更好地学习生成更好的 3D 形状。

    Feb, 2020

  • 高效几何感知的三维生成对抗网络

    使用单视角 2D 照片集合进行高质量多视角一致的图片和 3D 形状的非监督生成一直是一个难题，本文提出了一种混合显式 - 隐式网络架构，用于提高 3D GANs 的计算效率和图像质量，实现了高分辨率实时多视角一致的图像合成，同时产生高质量的 3D 几何体。

    Dec, 2021