使用对抗学习从单深度视图中重建 3D 物体

ICCVAug, 2017

使用对抗学习从单深度视图中重建 3D 物体

3D Object Reconstruction from a Single Depth View with Adversarial Learning

Bo Yang, Hongkai Wen, Sen Wang, Ronald Clark, Andrew Markham...

TL;DR本文提出了一种新颖的 3D-RecGAN 方法，使用生成对抗网络从单个任意深度视角重建给定对象的完整三维结构，在高维体素空间中通过结合自动编码器和条件生成对抗网络框架的生成能力恢复物体的准确和细粒度的三维结构。广泛的实验表明，该方法在单视角 3D 物体重建方面明显优于现有技术，且能够重建未被见过的物体类型。

Abstract

In this paper, we propose a novel 3d-recgan approach, which reconstructs the complete 3D structure of a given object from a single arbitrary depth view using generative adversarial networks. Unlike the existing w

3d-recgan generative adversarial networks object reconstruction voxel grid representation single view

发现论文，激发创造

从单个深度视图密集重建 3D 物体

通过 3D-RecGAN ++，使用生成对抗网络从单个任意深度视图重建给定对象的完整三维结构，诸如多视图的对象或类标签，仅使用深度视图的体素网格表示作为输入，充分利用了自动编码器和条件生成式对抗网络框架的生成能力，在高维体素空间中推断对象的准确和细粒度的三维结构，并在合成和真实数据集上得到了验证。

Feb, 2018

使用对抗训练从单个深度图像完成 3D 语义场景

本研究旨在探讨利用生成对抗网络进行三维场景填充的潜力与效率，并通过几个数据集的实验验证了这种模型优于传统三维卷积神经网络在一定程度具有对齐的数据集内。

May, 2019

从 2D GAN 数据中渐进式学习 3D 重建网络

本文介绍了一种使用生成式对抗网络（GAN）生成的多视角图像数据集重建高质量纹理三维模型的方法，其具有可忽略的注释成本，并通过多阶段学习和在线伪标签生成的新颖对抗学习流水线实现了精细的细节并显著改善了之前的方法。

May, 2023

3D 物体生成和重建的改进对抗性系统

本研究提出了一种新方法，用于通过生成式对抗网络（GAN）训练理解物体的详细三维形状以及从二维图像中重建三维形状和形状完成。该方法使用梯度惩罚的 Wasserstein 距离作为训练目标，从而从联合对象形状分布中获得更好的生成效果，并在与现有基线比较中取得了明显的数量级改进。

Jul, 2017

从单个视角深度学习的全 3D 物体补全

通过结合深度卷积神经网络体系结构和自编码器，从深度图中隐含学习 3D 几何特征，大大提高了新方法的重建准确度，并使其适用于实时应用。

Aug, 2018

使用对抗网络从图像集合推断三维形状

通过 projective generative adversarial network（PrGAN）模型，我们可以在无监督学习的情况下，从提供的二维视图中推断出三维形状的概率分布，包括形状、视角和新的视图。

Jun, 2019

通过三维生成对抗建模学习物体形状概率潜空间

本文提出了一种新颖的框架，即 3D 生成对抗网络（3D-GAN），通过利用体积卷积网络和生成对抗网络的最新进展，从概率空间生成 3D 对象，并具有生成高质量 3D 对象、无先验 CAD 模型或图像依赖性、生成器从低维概率空间到 3D 空间的映射以及训练出的无监督深度学习的 3D 描述符等优点，在 3D 对象生成及识别等方面取得了令人印象深刻的性能。

Oct, 2016

从多个物体的 2D 视图中识别 3D 形状

本文提出了一种称之为 “PrGANs” 的方法，能够在无监督学习的情况下，训练出一个能够从二维视角中通过投影反推出三维结构分布的生成式模型，并能够实现从输入图像中预测三维形状和视点，并生成新视图的功能。

Dec, 2016

2D GANs 遇见无监督单视角 3D 重建

提出了一种新的基于图像的神经隐式场方法，该方法利用基于 GAN 生成的多视图图像的 2D 监督，并通过不确定性模块来提高重构性能，从而实现了泛化物体的单视角 3D 重构。

Jul, 2022

基于样式的无监督单张图像明确 3D 人脸重建

本文旨在提出一种解决由于深度歧义和遮挡而导致的从单个图像推断三维物体结构的无监督方法 ——Unsupervised 2D 到 Explicit 3D Style Transfer (UE3DST)，我们提出了一个通用的对抗学习框架，通过将 Wu 等人的无监督明确 3D 重建网络和 StarGAN-v2 之类的生成对抗网络 (GAN) 进行合并，我们在三个面部数据集 (Basel Face Model、3DFAW 和 CelebA-HQ) 上进行实验，结果表明我们的解决方案能够胜过 DepthNet 在 3D 重建和 Pix2NeRF 在条件样式转移方面已经建立的解决方案，相比之下，我们的方案产生了用于明确 3D 渲染的特征，可以在下游任务中进行操作和利用。

Apr, 2023