GRAF: 用于三维感知图像合成的生成辐射场
提出使用 3D GAN 框架对人体或脸部特征进行辐射场生成,通过显式变形场将其变形为期望的姿势或表情,并展示了编辑生成体或脸部特征时显式变形训练过程在提高其质量方面的显著优势。
Jun, 2022
提出一种在三维体积中学习隐式表面的方法,从而有效地进行点采样和辐射场学习,在保持 3D 一致性的同时生成高质量、具有真实细节的图像。
Dec, 2021
本研究提出了一种基于阴影引导的生成式隐式模型,该模型利用多角度光照约束对 3D 物体进行建模,使得在不同光照条件下产生逼真的渲染效果,从而改善先前方法在表达精确 3D 形状方面的局限性,并成功应用于图像重照和 3D 形状重建任务。
Oct, 2021
这篇研究论文提出了一种新型神经网络,可以从 2D 观察中隐式地表示和渲染 3D 物体和场景,通过将 2D 图像中的像素特征投影到 3D 点上,并使用聚合策略来考虑视觉遮挡,生成高质量逼真的新视角。
Oct, 2020
提出了 VeRi3D,一种基于顶点的生成型人体辐射场,通过使用 SMPL 的参数人体模板来实现顶点参数化,从而解决了学习人体生成模型的泛化能力和可控性问题,能够自由地控制相机姿态、人体姿态、形状,以及进行部分级别的编辑,实现了生成逼真的人体图像。
Sep, 2023
DiffRF 是一种针对三维辐射场合成的新方法,利用去噪扩散概率模型生成体积辐射场。通过将去噪公式与渲染损失配对,我们的模型可以学习偏态先验,使其倾向于良好的图像质量而不是试图复制浮动伪像等拟合误差。与 3D GAN 相比,我们的扩散方法自然地实现了条件生成,例如掩蔽完成或推理时的单视图 3D 合成。
Dec, 2022
基于 NeRFs 的成功,近年来在新颖视角合成领域取得了显著进展。然而,虽然视图合成模型在视觉上看起来很真实,但其底层的 3D 模型通常是错误的,这限制了它们在实际应用中的有效性。本技术报告介绍了视图合成模型和 3D 重建模型之间的关键区别,并指出了使用深度传感器进行准确几何建模的重要性。通过扩展 Plenoxel 辐射场模型,我们对基于 RGB-D 数据的辐射场密集建图和跟踪任务提出了一种分析微分方法,实现了优于竞争神经网络方法的最新成果,并具有更快的速度。
Jul, 2023
通过学习结构特征和纹理特征,我们提出了一种新的 VolumeGAN 框架,它能够更好地生成高保真度的 3D 感知图像,并且具有独立控制形状和外观的能力。
Dec, 2021
本文提出了一种新的 3D-aware GAN,通过在最近的生成辐射流多面体(GRAM)方法定义的一组 2D 辐射流多面体上应用 2D 卷积并应用专用的损失函数进行高效 GAN 训练,从而避免了 prohibitively-expensive 的计算成本,并能够以体积渲染的严格 3D 一致性生成高分辨率图像(高达 1024X1024)。与现有方法相比,在 FFHQ 和 AFHQv2 数据集上的实验表明,我们的方法能够产生高质量的 3D-consistent 结果,明显优于现有的方法。
Jun, 2022