将 2D StyleGAN 升级为 3D 感知人脸生成
3D-SSGAN 是一个新颖的 3D 感知合成肖像图像的框架,通过提供细粒度的部件级控制,并保持 3D 视图的一致性,在合成肖像图像的同时实现了清晰的人脸区域解缠,其通过引入一个基于深度引导的 2D 到 3D 映射模块和一个具有新颖的 3D 感知语义掩码渲染器的体积渲染器来生成合成的人脸特征和相应的掩码,并通过区分真实和合成的 2D 图像和语义掩码的方式进行端到端的训练,定量和定性评估证明了 3D-SSGAN 在可控的部件级合成和保持 3D 视图一致性方面的优越性。
Jan, 2024
本文提出了一种名为 Lift3D 的反转 2D-to-3D 生成框架来生成高分辨率且逼真的三维物体图像,并在自主驾驶数据集上进行了实验,结果表明,该数据生成框架可以有效提高三维物体探测器的性能。
Apr, 2023
本文旨在提出一种解决由于深度歧义和遮挡而导致的从单个图像推断三维物体结构的无监督方法 ——Unsupervised 2D 到 Explicit 3D Style Transfer (UE3DST),我们提出了一个通用的对抗学习框架,通过将 Wu 等人的无监督明确 3D 重建网络和 StarGAN-v2 之类的生成对抗网络 (GAN) 进行合并,我们在三个面部数据集 (Basel Face Model、3DFAW 和 CelebA-HQ) 上进行实验,结果表明我们的解决方案能够胜过 DepthNet 在 3D 重建和 Pix2NeRF 在条件样式转移方面已经建立的解决方案,相比之下,我们的方案产生了用于明确 3D 渲染的特征,可以在下游任务中进行操作和利用。
Apr, 2023
该论文介绍了一个无条件的生成对抗网络 LumiGAN,在物理上基于照明模块生成可以在推理时进行新颖照明的 3D 人脸。与以往的工作不同,LumiGAN 可以在自我监督的学习中使用有效的可见性公式创建逼真的阴影效果。此外,作者还展示了 LumiGAN 与现有的 3D GANs 和可以进行新颖照明的 GANs 相比具有显着改进的几何生成和值得注意的更好逼真度。
Apr, 2023
提出了一种新的基于图像的神经隐式场方法,该方法利用基于 GAN 生成的多视图图像的 2D 监督,并通过不确定性模块来提高重构性能,从而实现了泛化物体的单视角 3D 重构。
Jul, 2022
介绍了一种新的 3D 表面基础的物体类别生成模型 - Lifting Autoencoders,该模型结合了非刚性结构运动、图像形成和形态模型等的思想,能完全无监督地从非结构化的图像集中学习可控、几何的 3D 类别生成模型,并使用可微渲染器生成 RGB 图像和对抗性训练的细化网络实现清晰逼真的图像重建结果。其生成模型可以通过可识别的几何和外观因素进行控制,从而进行身份、表达、3D 姿势和光照属性的逼真图像操作。
Apr, 2019
本文提出了一种基于 3D 生成模型的非刚性可变形场景表达方法,通过联合学习规范模型及其变形,并使用姿态正则化损失来改善模型的场景与摄影视角的分离性,同时还可以嵌入真实图像中并进行编辑。
Mar, 2022
该研究探索了使用生成对抗网络在三维空间中进行图像合成的可能性,并提出了一种无监督的方法,可从原始图像中解开简单场景的隐含三维因素。与纯二维基线相比,该方法允许合成与视角或物体姿势变化一致的场景,可用于实现 3D 可控图像合成,生成具有可解释性的表示形式。
Dec, 2019
本研究提出一种基于 2D GAN 的 3D 几何线索挖掘框架,通过非监督学习实现从 2D 图像中恢复 3D 形状,无需 2D 关键点或 3D 注释,并能实现高质量的图像编辑。
Nov, 2020