2D GANs 遇见无监督单视角 3D 重建
本文旨在提出一种解决由于深度歧义和遮挡而导致的从单个图像推断三维物体结构的无监督方法 ——Unsupervised 2D 到 Explicit 3D Style Transfer (UE3DST),我们提出了一个通用的对抗学习框架,通过将 Wu 等人的无监督明确 3D 重建网络和 StarGAN-v2 之类的生成对抗网络 (GAN) 进行合并,我们在三个面部数据集 (Basel Face Model、3DFAW 和 CelebA-HQ) 上进行实验,结果表明我们的解决方案能够胜过 DepthNet 在 3D 重建和 Pix2NeRF 在条件样式转移方面已经建立的解决方案,相比之下,我们的方案产生了用于明确 3D 渲染的特征,可以在下游任务中进行操作和利用。
Apr, 2023
使用单视角 2D 照片集合进行高质量多视角一致的图片和 3D 形状的非监督生成一直是一个难题,本文提出了一种混合显式 - 隐式网络架构,用于提高 3D GANs 的计算效率和图像质量,实现了高分辨率实时多视角一致的图像合成,同时产生高质量的 3D 几何体。
Dec, 2021
本研究提出一种基于 2D GAN 的 3D 几何线索挖掘框架,通过非监督学习实现从 2D 图像中恢复 3D 形状,无需 2D 关键点或 3D 注释,并能实现高质量的图像编辑。
Nov, 2020
该研究探索了使用生成对抗网络在三维空间中进行图像合成的可能性,并提出了一种无监督的方法,可从原始图像中解开简单场景的隐含三维因素。与纯二维基线相比,该方法允许合成与视角或物体姿势变化一致的场景,可用于实现 3D 可控图像合成,生成具有可解释性的表示形式。
Dec, 2019
本文介绍了一种使用生成式对抗网络(GAN)生成的多视角图像数据集重建高质量纹理三维模型的方法,其具有可忽略的注释成本,并通过多阶段学习和在线伪标签生成的新颖对抗学习流水线实现了精细的细节并显著改善了之前的方法。
May, 2023
论文提出了一种统一框架,用于解决单幅图像特定类别的 3D 重建和新 3D 形状生成的问题。该方法支持弱监督学习,只需要单个实例的 2D 图像,使用网格作为输出表示,并利用光照信息提高了性能。实验结果表明,该方法在定量度量上与最新的基于体素方法相当或优于,而且结果更加美观,并且在弱监督学习方面表现良好。
Jul, 2018
从多样且非结构化的 Imagenet 数据集中,我们提出了一种从二维图像中重建三维几何模型的方法,使用高效的三平面表示法学习三维模型,并基于 StyleGAN2 的生成器架构对高度多样化的数据集进行调整,通过多视点辨别防止模式崩溃并提升训练稳定性。
Jan, 2024
本文提出了一种称之为 “PrGANs” 的方法,能够在无监督学习的情况下,训练出一个能够从二维视角中通过投影反推出三维结构分布的生成式模型,并能够实现从输入图像中预测三维形状和视点,并生成新视图的功能。
Dec, 2016
本文研究使用前景掩码作为弱监督,通过光线追踪池化层实现透视投影和反向传播的三维重建,同时限制重建到未标记的能匹配覆盖面的真实三维形状。通过该方法可以使用 GAN 训练现有工具。我们通过各种数据集进行单视角和多视角重建的实验和分析表明,我们约束重建的方法在合成和真实图像的重建中均有成效。
May, 2017