CVPRApr, 2024
FSRT：基于分解外貌、头部姿势和面部表情特征的人脸再现的面部场景表示变换器
FSRT: Facial Scene Representation Transformer for Face Reenactment from Factorized Appearance, Head-pose, and Facial Expression Features
Andre Rochow, Max Schwarz, Sven Behnke
TL;DR人脸再现的任务是将视频中的头部运动和面部表情转移至源图像的外观，可以是不同的人（跨再现）。我们提出了一种基于 Transformer 编码器的方法来计算源图像的一组潜在表示。然后，我们使用基于 Transformer 的解码器预测查询像素的输出颜色，该解码器受到来自驾驶帧的关键点和面部表情向量的条件影响。我们以自监督的方式学习源人物的潜在表示，这种表示分解了外观、头部角度和面部表情，非常适合于跨再现。与大多数相关工作相比，我们的方法自然地扩展到多个源图像，并且可以适应个人特定的面部动态。我们还提出了必要的数据增强和正则化方案，以防止过拟合并支持学习表示的泛化能力。我们在一个随机用户研究中评估了我们的方法，结果表明在运动传输质量和时间一致性方面与最先进方法相比具有卓越性能。