RGBD-GAN：通过 RGBD 图像合成从自然图像数据集中无监督学习 3D 表示

ICLRSep, 2019

RGBD-GAN：通过 RGBD 图像合成从自然图像数据集中无监督学习 3D 表示

RGBD-GAN: Unsupervised 3D Representation Learning From Natural Image Datasets via RGBD Image Synthesis

Atsuhiro Noguchi, Tatsuya Harada

TL;DR该研究提出了一种基于 RGBD-GAN 的新型生成模型，可以从 2D 图像中实现无监督的 3D 表示学习，并能通过相机参数进行图像生成和深度图像生成，无需 3D 注释，通过实验证明其对各种生成器体系结构都具有普适性。

Abstract

Understanding three-dimensional (3D) geometries from two-dimensional (2D) images without any labeled information is promising for understanding the real world without incurring annotation cost. We herein propose a novel generative model, RGBD-GAN, which achieves unsupervised 3D representation learning from 2D images. The proposed method enables camera parame

3d geometries unsupervised learning generative models camera parameters image generation

发现论文，激发创造

自然图像中的无监督生成式三维形状学习

本文介绍了一种从自然图像中学习生成 3D 形状的生成模型的全面无监督方法，其中利用 GAN 等深度学习技术实现，从而生成出真实的三维图像，实现了从二维图像向三维图像的转换。

Oct, 2019

2D GAN 是否了解 3D 形状？从 2D 图像 GAN 进行无监督的 3D 形状重建

本研究提出一种基于 2D GAN 的 3D 几何线索挖掘框架，通过非监督学习实现从 2D 图像中恢复 3D 形状，无需 2D 关键点或 3D 注释，并能实现高质量的图像编辑。

Nov, 2020

面向无监督学习的生成模型，用于三维可控图像合成

该研究探索了使用生成对抗网络在三维空间中进行图像合成的可能性，并提出了一种无监督的方法，可从原始图像中解开简单场景的隐含三维因素。与纯二维基线相比，该方法允许合成与视角或物体姿势变化一致的场景，可用于实现 3D 可控图像合成，生成具有可解释性的表示形式。

Dec, 2019

HoloGAN: 从自然图像中的无监督学习 3D 表示

本文提出了一种新颖的生成对抗网络 HoloGAN，它使用 3D 表示学习世界，而不使用 2D 核心进行图像合成，可以对生成的物体姿态进行精确控制。与其他 GAN 不同，HoloGAN 可以在不需要标注姿态标签、3D 形状或同一对象的多个视角之前，仅从未标记的 2D 图像中端到端地训练。经实验证明，HoloGAN 可以在完全无监督的情况下从自然图像中学习 3D 表示，具有较高的视觉质量。

Apr, 2019

2D GANs 遇见无监督单视角 3D 重建

提出了一种新的基于图像的神经隐式场方法，该方法利用基于 GAN 生成的多视图图像的 2D 监督，并通过不确定性模块来提高重构性能，从而实现了泛化物体的单视角 3D 重构。

Jul, 2022

基于 ImageNet 中的野外图像的几何感知 3D 生成

从多样且非结构化的 Imagenet 数据集中，我们提出了一种从二维图像中重建三维几何模型的方法，使用高效的三平面表示法学习三维模型，并基于 StyleGAN2 的生成器架构对高度多样化的数据集进行调整，通过多视点辨别防止模式崩溃并提升训练稳定性。

Jan, 2024

UNeR3D：无监督重建中基于 2D 图像的多用途可扩展的 3D RGB 点云生成

通过使用 UNeR3D，这篇研究论文提出了一种开创性的无监督方法来从 2D 图像生成详细的 3D 重建，同时通过应用逆距离加权技术进行颜色渲染，提高了视觉保真度，并展示了在单视图输入和其他情况下的优越成果，从而重塑了 3D 视觉中的无监督学习范式。

Dec, 2023

从图像中进行的无监督三维结构学习

本文提出一种从 2D 图像中学习生成 3D 结构的深度生成模型，并通过概率推断从 3D 和 2D 图像中恢复这些结构，从而实现了第一个纯无监督学习下学习推断 3D 表示的方法，并在几个数据集上建立了基准模型。

Jul, 2016

从 2D GAN 数据中渐进式学习 3D 重建网络

本文介绍了一种使用生成式对抗网络（GAN）生成的多视角图像数据集重建高质量纹理三维模型的方法，其具有可忽略的注释成本，并通过多阶段学习和在线伪标签生成的新颖对抗学习流水线实现了精细的细节并显著改善了之前的方法。

May, 2023

基于样式的无监督单张图像明确 3D 人脸重建

本文旨在提出一种解决由于深度歧义和遮挡而导致的从单个图像推断三维物体结构的无监督方法 ——Unsupervised 2D 到 Explicit 3D Style Transfer (UE3DST)，我们提出了一个通用的对抗学习框架，通过将 Wu 等人的无监督明确 3D 重建网络和 StarGAN-v2 之类的生成对抗网络 (GAN) 进行合并，我们在三个面部数据集 (Basel Face Model、3DFAW 和 CelebA-HQ) 上进行实验，结果表明我们的解决方案能够胜过 DepthNet 在 3D 重建和 Pix2NeRF 在条件样式转移方面已经建立的解决方案，相比之下，我们的方案产生了用于明确 3D 渲染的特征，可以在下游任务中进行操作和利用。

Apr, 2023