本文提出了一种新颖的框架,即 3D 生成对抗网络(3D-GAN),通过利用体积卷积网络和生成对抗网络的最新进展,从概率空间生成 3D 对象,并具有生成高质量 3D 对象、无先验 CAD 模型或图像依赖性、生成器从低维概率空间到 3D 空间的映射以及训练出的无监督深度学习的 3D 描述符等优点,在 3D 对象生成及识别等方面取得了令人印象深刻的性能。
本文提出了一种使用通用的不可微分渲染器训练来自 2D 数据的 3D 生成模型的可扩展方法,该方法引入了一个代理神经渲染器来匹配不可微分渲染器的输出。我们进一步提出鉴别器输出匹配以确保神经渲染器学习适当地平滑栅格化。当用纯 2D 图像进行训练时,我们的模型可以比现有模型更好地学习生成更好的 3D 形状。