Nov, 2023
使用合成数据学习一次性 4D 头像合成
Learning One-Shot 4D Head Avatar Synthesis using Synthetic Data
Yu Deng, Duomin Wang, Xiaohang Ren, Xingyu Chen, Baoyuan Wang
TL;DR现有的一次性 4D 头部合成方法通常通过 3DMM 重建从单眼视频中学习，然而后者同样具有挑战性，限制了它们对合理的 4D 头部合成的使用。我们提出了一种通过大规模合成数据学习一次性 4D 头部合成的方法。关键在于首先通过对抗学习从单眼图像中学习部件级 4D 生成模型，以合成多视角、多样性身份和完整动作的图像作为训练数据；然后利用基于 Transformer 的可动三面板重建器使用合成数据学习 4D 头部重建。通过分离 3D 重建和再现的学习过程，强化了对真实图像的泛化能力。实验证明了我们相对于先前的方法的优越性。