Mar, 2024
学习生成有条件的三平面用于三维感知可控肖像动画
Learning to Generate Conditional Tri-plane for 3D-aware Expression Controllable Portrait Animation
Taekyung Ki, Dongchan Min, Gyeongsu Chae
TL;DR本文提出了一种一次性 3D 感知肖像动画方法 Export3D，通过介绍一个三平面生成器，将 3DMM 的表情参数转换成源图像的三平面，并通过可区分体素渲染将三平面解码为不同视角的图像，从而实现对给定肖像图像的面部表情和相机视角的控制。与现有的肖像动画方法不同的是，我们提出了一种对无外貌的表情参数进行对比预训练的框架，消除了在跨身份表情转换时不希望出现的外貌交换。广泛实验证明，我们的预训练框架能够学习隐藏在 3DMM 中的无外貌表情表示，我们的模型能够以跨身份的方式生成具有 3D 感知的表情可控肖像图像，而不会发生外貌交换。