ImageNet 的 3D 生成
从多样且非结构化的 Imagenet 数据集中,我们提出了一种从二维图像中重建三维几何模型的方法,使用高效的三平面表示法学习三维模型,并基于 StyleGAN2 的生成器架构对高度多样化的数据集进行调整,通过多视点辨别防止模式崩溃并提升训练稳定性。
Jan, 2024
我们介绍了一种新颖的 3D 生成方法,Generative 3D Reconstruction (G3DR) in ImageNet,能够从单个图像中生成多样且高质量的 3D 物体,解决了现有方法的局限性。我们的框架核心是一种新颖的深度正则化技术,能够实现高几何保真度的场景生成。G3DR 还利用预训练的语言 - 视觉模型,如 CLIP,实现对新视角的重构,提升生成物体的视觉真实感。此外,G3DR 设计了简单但有效的采样过程,进一步提高生成的质量。G3DR 基于类别或文本条件提供多样且高效的 3D 资产生成。尽管 G3DR 十分简单,但在感知度量上,它能够胜过业界先进的方法,在几何评分上提高了 90% 并在感知度量上提高了 22%,同时只需一半的训练时间。代码可在此 https URL 找到。
Mar, 2024
该研究提出了一种基于深度的双通道生成器和可切换鉴别器,用于从 2D 数据中合成 3D 感知室内场景的图像,并通过实验表明,该方法可以显著优于现有的最先进的方法。
Feb, 2022
本文介绍了一种使用生成式对抗网络(GAN)生成的多视角图像数据集重建高质量纹理三维模型的方法,其具有可忽略的注释成本,并通过多阶段学习和在线伪标签生成的新颖对抗学习流水线实现了精细的细节并显著改善了之前的方法。
May, 2023
提出了一种新的基于图像的神经隐式场方法,该方法利用基于 GAN 生成的多视图图像的 2D 监督,并通过不确定性模块来提高重构性能,从而实现了泛化物体的单视角 3D 重构。
Jul, 2022
通过与 ImageNet 数据集相结合,ImageNet3D 数据集提供了 200 个类别的 2D 和 3D 信息,从而为构建具有更强的通用性目标级三维理解的视觉模型提供了潜力。
Jun, 2024
本文提出了一种名为 Lift3D 的反转 2D-to-3D 生成框架来生成高分辨率且逼真的三维物体图像,并在自主驾驶数据集上进行了实验,结果表明,该数据生成框架可以有效提高三维物体探测器的性能。
Apr, 2023
通过 projective generative adversarial network(PrGAN)模型,我们可以在无监督学习的情况下,从提供的二维视图中推断出三维形状的概率分布,包括形状、视角和新的视图。
Jun, 2019
我们提出了 3DGEN 模型,它利用最近在物体重建和基于 GAN 的图像生成方面的工作,可以为训练图像的同一类别对象生成可信的三维网格,并将生成的网格与当前最先进的基准模型进行比较,取得了可见的生成质量改进。
Dec, 2023
该研究提出了一种基于 RGBD-GAN 的新型生成模型,可以从 2D 图像中实现无监督的 3D 表示学习,并能通过相机参数进行图像生成和深度图像生成,无需 3D 注释,通过实验证明其对各种生成器体系结构都具有普适性。
Sep, 2019