本文研究了从 3D 可塑模型(3DMM)和 3D 面部标记的协同学习过程,以预测完整的 3D 面部几何,包括 3D 对齐,面部方向和 3D 面部建模。我们的协同过程利用了 3DMM 参数和 3D 标记的表示循环。3D 标记可以从 3DMM 参数构建的面部网格中提取和精炼。接下来,我们逆转表示方向,并显示从稀疏的 3D 标记预测 3DMM 参数可以改善信息流量。总的来说,我们创建了一个利用 3D 标记和 3DMM 参数之间关系的协同过程,它们共同促成了更好的性能。我们在面部几何预测的全部任务上进行了广泛的验证,并展示了在这些任务的各种场景下我们卓越和稳健的性能。特别地,我们仅采用简单和广泛使用的网络操作来实现快速和准确的面部几何预测。
介绍了一种采用半监督学习方法,在没有 3D 地标数据集的情况下,通过直接提取(可见的)手工标记的 2D 地标,并确保更好的定义对齐,从而学习 3D 地标。该方法利用 3D 感知的生成对抗网络进行更好的多视角一致性学习,并利用实景多帧视频进行鲁棒的跨领域泛化。实证实验证明,该方法不仅在 2D-3D 地标之间实现了更好的定义对齐,还在 3DMM 标记和摄影测量基准数据集上优于其他监督学习的 3D 地标定位方法。