自然图像中的无监督生成式三维形状学习
该研究探索了使用生成对抗网络在三维空间中进行图像合成的可能性,并提出了一种无监督的方法,可从原始图像中解开简单场景的隐含三维因素。与纯二维基线相比,该方法允许合成与视角或物体姿势变化一致的场景,可用于实现 3D 可控图像合成,生成具有可解释性的表示形式。
Dec, 2019
本研究提出一种基于 2D GAN 的 3D 几何线索挖掘框架,通过非监督学习实现从 2D 图像中恢复 3D 形状,无需 2D 关键点或 3D 注释,并能实现高质量的图像编辑。
Nov, 2020
通过 projective generative adversarial network(PrGAN)模型,我们可以在无监督学习的情况下,从提供的二维视图中推断出三维形状的概率分布,包括形状、视角和新的视图。
Jun, 2019
本文提出一种从 2D 图像中学习生成 3D 结构的深度生成模型,并通过概率推断从 3D 和 2D 图像中恢复这些结构,从而实现了第一个纯无监督学习下学习推断 3D 表示的方法,并在几个数据集上建立了基准模型。
Jul, 2016
本文提出了一种称之为 “PrGANs” 的方法,能够在无监督学习的情况下,训练出一个能够从二维视角中通过投影反推出三维结构分布的生成式模型,并能够实现从输入图像中预测三维形状和视点,并生成新视图的功能。
Dec, 2016
从多样且非结构化的 Imagenet 数据集中,我们提出了一种从二维图像中重建三维几何模型的方法,使用高效的三平面表示法学习三维模型,并基于 StyleGAN2 的生成器架构对高度多样化的数据集进行调整,通过多视点辨别防止模式崩溃并提升训练稳定性。
Jan, 2024
该研究提出了一种基于 RGBD-GAN 的新型生成模型,可以从 2D 图像中实现无监督的 3D 表示学习,并能通过相机参数进行图像生成和深度图像生成,无需 3D 注释,通过实验证明其对各种生成器体系结构都具有普适性。
Sep, 2019
论文提出了一种统一框架,用于解决单幅图像特定类别的 3D 重建和新 3D 形状生成的问题。该方法支持弱监督学习,只需要单个实例的 2D 图像,使用网格作为输出表示,并利用光照信息提高了性能。实验结果表明,该方法在定量度量上与最新的基于体素方法相当或优于,而且结果更加美观,并且在弱监督学习方面表现良好。
Jul, 2018
本文提出了一种使用通用的不可微分渲染器训练来自 2D 数据的 3D 生成模型的可扩展方法,该方法引入了一个代理神经渲染器来匹配不可微分渲染器的输出。我们进一步提出鉴别器输出匹配以确保神经渲染器学习适当地平滑栅格化。当用纯 2D 图像进行训练时,我们的模型可以比现有模型更好地学习生成更好的 3D 形状。
Feb, 2020
本文提出了一种新颖 的生成对抗网络 HoloGAN,它使用 3D 表示学习世界,而不使用 2D 核心进行图像合成,可以对生成的物体姿态进行精确控制。与其他 GAN 不同,HoloGAN 可以在不需要标注姿态标签、3D 形状或同一对象的多个视角之前,仅从未标记的 2D 图像中端到端地训练。经实验证明,HoloGAN 可以在完全无监督的情况下从自然图像中学习 3D 表示,具有较高的视觉质量。
Apr, 2019