SphereHead: 基于球面三平面表示的稳定三维全头合成
提出了 PanoHead,这是第一种具有 3D 感知能力的生成模型,可以通过采用野外非结构图像进行训练来生成全头的高质量视角一致的图像,其核心是通过 3D GANs 来提高表示的能力并解决数据对齐差距。该方法可以在任意姿势下呈现准确几何形态和多样外观的高质量 3D 头部。
Mar, 2023
该研究提出了一种通过对单视角幅面图像进行重建和动画化的三维头像,通过三个三角面分别捕捉源图像的粗略三维几何,详细外观以及目标图像的表情实现,再通过超分辨率模块的渲染进行填充并通过单向传递网络的高效性进行动画。实验表明,该方法在重建和动画方面优于当前最先进的基线方法,并且对新的验证数据集有很好的泛化能力。
Jun, 2023
通过视频数据创建可控、逼真、几何详细的数字化人类复制品是计算机图形学和视觉领域的关键挑战,特别是当需要实时性能时。最近的方法将神经光辐射场(NeRF)附加到关节结构上,如身体模型或骨骼,将点映射到姿势规范空间,同时条件化 NeRF 的骨骼姿势。我们提出了 TriHuman,一个新的人体定制、可变形和高效的三平面表示方法,实现了实时性能、最先进的姿势控制几何合成以及逼真的渲染质量。在核心部分中,我们非刚性地将全局光线采样变形到无变形的三平面纹理空间中,这有效解决了将全局点映射到相同三平面位置的问题。然后,我们展示了如何将这种三平面特征表示方法与骨骼运动相关联,以考虑动态外观和几何变化。我们的结果表明,对于人体的几何和外观建模以及运行时间性能,有了明显的质量提升。
Dec, 2023
提出了 SYM3D,一种新颖的 3D-aware GAN,通过利用自然和人造物体中普遍存在的反射对称结构,结合提出的视角感知空间注意机制来学习三维表示,从而在只使用单视图图像进行训练时捕捉详细的几何和纹理,同时证明了在文本到三维任务中利用对称性正则化有助于减少模型中的伪影。
Jun, 2024
我们提供了第一个 3D 感知的全头像肖像生成器,它从包含多种摄像参数和身体姿势的高质量单视角真实肖像数据集学习一个规范化的 3D 化身分布,并利用我们的规范化生成器产生符合数据集身体姿态分布的变形结果来生成自各个摄像角度(360°)具有完整 3D 几何的视一致逼真肖像图像。
Jul, 2023
现有的一次性 4D 头部合成方法通常通过 3DMM 重建从单眼视频中学习,然而后者同样具有挑战性,限制了它们对合理的 4D 头部合成的使用。我们提出了一种通过大规模合成数据学习一次性 4D 头部合成的方法。关键在于首先通过对抗学习从单眼图像中学习部件级 4D 生成模型,以合成多视角、多样性身份和完整动作的图像作为训练数据;然后利用基于 Transformer 的可动三面板重建器使用合成数据学习 4D 头部重建。通过分离 3D 重建和再现的学习过程,强化了对真实图像的泛化能力。实验证明了我们相对于先前的方法的优越性。
Nov, 2023
从多样且非结构化的 Imagenet 数据集中,我们提出了一种从二维图像中重建三维几何模型的方法,使用高效的三平面表示法学习三维模型,并基于 StyleGAN2 的生成器架构对高度多样化的数据集进行调整,通过多视点辨别防止模式崩溃并提升训练稳定性。
Jan, 2024
提出一种名为 BallGAN 的 3D 感知 GAN 框架,通过近似背景为球面并将场景表示为背景内的前景和薄球形背景的并集的方法,减少背景领域中的自由度,以解决现有方法存在的 3D 几何不自然与训练不稳定的问题,从而实现更合理的 3D 几何和更好的图像一致性和保真度。
Jan, 2023
我们提出了一种名为 Tri$^2$-plane 的新方法,用于通过单目逼真体积头像重建,通过特征金字塔和三个自上而下的侧连接 Tri-planes 实现细节改进,并通过训练中的相机几何感知滑动窗口方法提高鲁棒性,实验结果表明 Tri$^2$-plane 不仅超越了现有的方法,还在定量指标和定性评估方面取得了优越的性能。
Jan, 2024
该论文提出了一种快速、高质量的单张图像推断和呈现真实感三维重建的方法,使用基于视觉 Transformer 的三面板编码器,利用合成数据进行训练,通过卷积渲染技术对神经辐射场的规范三面板进行重建,可以在具有 3D 感知图像生成器的其他类别中应用。
May, 2023