Feb, 2020

逆向图形生成对抗网络：从非结构化 2D 数据生成 3D 形状的学习

PDF
TL;DR本文提出了一种使用通用的不可微分渲染器训练来自 2D 数据的 3D 生成模型的可扩展方法，该方法引入了一个代理神经渲染器来匹配不可微分渲染器的输出。我们进一步提出鉴别器输出匹配以确保神经渲染器学习适当地平滑栅格化。当用纯 2D 图像进行训练时，我们的模型可以比现有模型更好地学习生成更好的 3D 形状。
3d generative modelsnon-differentiable rendererneural rendererrasterizationunstructured 2d images
发现论文，激发创造
  • 基于可微分渲染的图像 GAN 逆向图形学和可解释的 3D 神经渲染

    本文利用可微分渲染器提取并分离生成模型中的 3D 知识，将生成对抗网络作为多视图数据生成器，使用现成的可微分渲染器训练逆向图形网络，并将训练好的逆向图形网络作为教师，将 GAN 的潜在向量分离为可解释的 3D 属性。我们的方法在现有数据集上对最先进的逆向图形网络进行定量和用户研究，并显示分离的 GAN 作为可控的 3D “神经渲染器”，补充传统的图形渲染器。

    Oct, 2020

  • 自然图像中的无监督生成式三维形状学习

    本文介绍了一种从自然图像中学习生成 3D 形状的生成模型的全面无监督方法，其中利用 GAN 等深度学习技术实现，从而生成出真实的三维图像，实现了从二维图像向三维图像的转换。

    Oct, 2019

  • 逃离柏拉图的洞穴：对抗性渲染中的三维形状

    PlatonicGAN 通过训练神经网络生成 3D 模型，结合 2D 图像投影生成多种相机角度下的 2D 图像，支持无结构的 2D 图像集合恢复 3D 结构，并通过实验证明了其对于 3D 监督方法的优越性。

    Nov, 2018

  • 使用对抗网络从图像集合推断三维形状

    通过 projective generative adversarial network（PrGAN）模型，我们可以在无监督学习的情况下，从提供的二维视图中推断出三维形状的概率分布，包括形状、视角和新的视图。

    Jun, 2019

  • 2D GAN 是否了解 3D 形状？从 2D 图像 GAN 进行 无监督的 3D 形状重建

    本研究提出一种基于 2D GAN 的 3D 几何线索挖掘框架，通过非监督学习实现从 2D 图像中恢复 3D 形状，无需 2D 关键点或 3D 注释，并能实现高质量的图像编辑。

    Nov, 2020

  • 从多个物体的 2D 视图中识别 3D 形状

    本文提出了一种称之为 “PrGANs” 的方法，能够在无监督学习的情况下，训练出一个能够从二维视角中通过投影反推出三维结构分布的生成式模型，并能够实现从输入图像中预测三维形状和视点，并生成新视图的功能。

    Dec, 2016

  • 基于图像的三维推理差分渲染器

    本文提出了一种新的可微分渲染框架，可以使用可微分函数直接渲染彩色网格，并能够从各种图像表示形式中向网格顶点及其属性反馈高效监督信号，并通过实验，证明提出的渲染器可以在三维无监督单视图重建方面实现显著改善，并能够处理基于图像的形状拟合等具有挑战性的任务。

    Apr, 2019

  • 面向无监督学习的生成模型，用于三维可控图像合成

    该研究探索了使用生成对抗网络在三维空间中进行图像合成的可能性，并提出了一种无监督的方法，可从原始图像中解开简单场景的隐含三维因素。与纯二维基线相比，该方法允许合成与视角或物体姿势变化一致的场景，可用于实现 3D 可控图像合成，生成具有可解释性的表示形式。

    Dec, 2019

  • 高效几何感知的三维生成对抗网络

    使用单视角 2D 照片集合进行高质量多视角一致的图片和 3D 形状的非监督生成一直是一个难题，本文提出了一种混合显式 - 隐式网络架构，用于提高 3D GANs 的计算效率和图像质量，实现了高分辨率实时多视角一致的图像合成，同时产生高质量的 3D 几何体。

    Dec, 2021

  • 基于 ImageNet 中的野外图像的几何感知 3D 生成

    从多样且非结构化的 Imagenet 数据集中，我们提出了一种从二维图像中重建三维几何模型的方法，使用高效的三平面表示法学习三维模型，并基于 StyleGAN2 的生成器架构对高度多样化的数据集进行调整，通过多视点辨别防止模式崩溃并提升训练稳定性。

    Jan, 2024