本文提出了一种适用于严格视图需求的 VR 面部动画的实时管道，从运营商的序列中提取操作员特定的外观信息，并将其映射到目标表情和头部姿态上，同时讨论了性能。

Apr, 2023

本文介绍了一种利用虚拟现实技术中红外监视器拍摄到的眼部图像，从而在遮挡部分面部的情况下，自动推断用户的表情，并生成动态的虚拟头像作为用户的表情代理。实验结果表明，该算法的准确度显示出性能优于人类评估者。

Jul, 2017

Face2Face 是一种用于实时面部复刻的创新方法，可以通过非刚性基于模型的束缚，跟踪面部表情，实现来自单眼录制的目标视频序列的面部表情的动画化，并以逼真的方式重新渲染操作后的输出视频。

Jul, 2020

介绍了一种名为 VOODOO XP 的 3D 感知一次性头部复现方法，可以从任何输入驱动视频和单个 2D 肖像中生成高度表情丰富的面部表情。该方法具有实时性、视角一致性，并且可以即刻使用，无需校准或微调。在单眼视频设置和端到端虚拟现实远程呈现系统中演示了该解决方案，用于双向交流。与 2D 复现方法相比，3D 感知方法旨在保留主体的身份，并确保对新的相机姿势视角一致的面部几何，从而使其适用于沉浸式应用。我们通过一种新颖的交叉复现架构，将驱动者的面部表情直接转移给输入源的 3D 抬升模块的变压器块来展示了高度有效的分解。我们展示了一种创新的多阶段自我监督方法，该方法基于粗到细的策略，并在初始训练阶段进行了明确的面部中性化和 3D 抬升正向化。我们进一步将这种新颖的头部复现解决方案集成到一个可访问的高保真虚拟现实远程呈现系统中，任何人都可以立即从任何照片创建个性化的神经头像，并使用头戴式显示器赋予其生命。我们在大量多样的主题和捕获环境上展示了在表情丰富性和相似性保持方面的最新性能。

May, 2024

在虚拟现实环境中，我们提出了一种使用关键点和嘴部摄像头的混合方法来进行面部动画，以传达情感信号和模拟与特定个体互动的感知。我们的方法通过捕获两个短视频进行快速注册，利用多个源图像来覆盖不同的面部表情，并将嘴部摄像头信息注入潜在空间以解决关键点的歧义并实现更广泛范围的嘴部表情动画。该方法在质量、能力和时间一致性方面优于基线，并在 ANA Avatar XPRIZE 决赛中的胜利中突显了面部动画的贡献。

Dec, 2023

虚拟现实 (VR) 具有比其他媒体更具身临其境感的社交互动的潜力。关键在于能够在佩戴 VR 头显的同时准确地模拟一个逼真的个人化化身。本研究揭示了头显摄像头镜头与模型相差较大是导致实时模型性能下降的主要原因，并提出了一个系统设计，将问题分解为两部分：1) 一个迭代优化模块，处理同一领域的输入；2) 一个通用的以化身为导向的图像转换模块，以当前表情和头部姿态的估计为条件。这两个模块相互加强，通过展示接近真实的示例，使图像样式转换更容易，并改善领域差异移除。我们的系统高效地产生高质量的结果，不再需要昂贵的离线注册来生成个性化标签。通过在市售头显上进行大量实验证实了我们方法的准确性和效率，并在直接回归方法和离线注册上展现了显著的改进。

Jan, 2024

本文提出了一个基于几何模型的方法，在虚拟现实场景下戴着头戴式 VR 耳机困难的面部表情识别问题，在 FER + 和 RAF-DB 数据集上使用迁移学习方法，并在根据佩戴一款普通 VR 设备所导致的实际遮挡情况修改的基准数据集上展示了令人满意的识别结果。

Aug, 2020

该研究提出了一种新方法，可以通过输入视频实现人像视频的逼真的重新动画制作，在此过程中将源演员的全面影响转移到目标演员的画像上。

May, 2018

使用 HeadOn 方法，我们可以将源头的运动，面部表情和眼神转移至目标人像视频，从而实现全身像的实时再现，具备高度真实感和灵活性。

May, 2018

该论文提出了一种新的深度学习光照模型技术，结合高质量的 3D 人脸追踪算法，从普通视频中实现了微妙且稳健的面部动作转移到 3D 光照逼真的虚拟形象身上，解决了现有人物特定 3D 模型不稳健的问题，并在表情、姿势及光线变化等方面得到了广泛应用验证，成为可扩展的 AR/VR 通信系统的有效框架。

Mar, 2021