通过学习结构和纹理表示进行 3D 感知图像合成
提出了一种基于 3D-SGAN 的语义指导生成模型,利用生成神经辐射场(GNeRF)提取人体的隐式 3D 表示,并用纹理生成器将语义掩码转换为真实图像,为计算机图形学应用中的非刚性物体生成具有照片级真实感的图像。在 DeepFashion 数据集上,比最新的基准表现显著优秀。
Dec, 2021
通过分割语义区域并利用神经辐射场学习各自的辐射场,最后合并成完整图像,CNeRF 方法可以实现细粒度的语义区域操作,同时维持高质量的 3D 一致合成。
Feb, 2023
本文提出了一种基于放射场的生成模型,该模型具有高保真度的可渲染三维一致模型,能够更准确地控制相机视点和物体姿态,并通过一个多尺度基于补丁的鉴别器来演示高分辨率图像的合成。
Jul, 2020
提出一种在三维体积中学习隐式表面的方法,从而有效地进行点采样和辐射场学习,在保持 3D 一致性的同时生成高质量、具有真实细节的图像。
Dec, 2021
本文介绍了一种将 3D 意识 GAN(3D-aware GANs)与神经辐射场结合的新方法,用于进行 3D 一致的多类别图像转换,建议使用包括新的条件架构和有效培训策略等几种技术,并在两个数据集上进行了广泛的实验,定量和定性结果表明,我们成功地执行了多视角一致的 3D-aware I2I 转换方法。
Mar, 2023
NeRF-VAE 是一种 3D 场景生成模型,通过使用 NeRF 和可微分体积渲染结构,将几何结构纳入考虑,利用摊销推理,无需重新训练便能推断新型场景的结构,采用显式的 3D 渲染过程与缺乏几何结构的卷积模型形成对比,它是一种 VAE 学习一个描述辐射场的分布,并通过在潜在场景表示上加以限定。我们展示了,一旦训练完成,NeRF-VAE 能够通过很少的输入图像推断和渲染几何上一致的未曾见过的 3D 环境,而且还展示了 NeRF-VAE 泛化到分布之外的相机的能力优于卷积模型。最后,我们介绍并研究了 NeRF-VAE 解码器的基于注意力的约束机制,以提高模型性能。
Apr, 2021
我们提出了 3DGEN 模型,它利用最近在物体重建和基于 GAN 的图像生成方面的工作,可以为训练图像的同一类别对象生成可信的三维网格,并将生成的网格与当前最先进的基准模型进行比较,取得了可见的生成质量改进。
Dec, 2023
提出了 StyleNeRF,这是一种考虑到 3D 空间的生成模型,可用于在未结构化的 2D 图像上进行高分辨率照片般逼真的图像合成,其能够通过整合神经辐射场(NeRF)到基于样式的生成器中来解决高分辨率图像合成方面的挑战,同时保持 3D 一致性。
Oct, 2021
本文提出了一种使用对比学习和隐式姿态嵌入的 3D 感知生成对抗网络优化技术。通过重新设计鉴别器,从而消除对基准相机姿态的依赖性,使其更好地捕捉给定图像的隐式姿态嵌入,并在姿态嵌入上进行对比学习,实验结果表明在多个物体类别和不一致的基准相机姿态数据集上显著优于现有方法。
Apr, 2023