本文提出了一种适用于严格视图需求的 VR 面部动画的实时管道，从运营商的序列中提取操作员特定的外观信息，并将其映射到目标表情和头部姿态上，同时讨论了性能。

Apr, 2023

提出了一种基于图像的新方法 FaceVR，该方法可基于自我再现实现 VR 视频会议，通过实时面部动作捕捉算法和单目视频的新数据驱动方法，FaceVR 具备近乎逼真的成像效果和改变面部表情和目光方向的功能。

Oct, 2016

提出了一种全面的解决方案，通过深度学习模型将面部表情从输入面部图像转移到虚拟人脸，实现虚拟人物面部动画的自动化。使用 Unity 3D 开发了实用工具包，可接受图像和视频作为输入，以动画形式呈现目标虚拟人脸，并允许用户对动画结果进行操作。通过用户反馈不断改进模型和工具包的性能，从而增加了定制化属性以适应用户偏好。整个解决方案有助于加速用于虚拟现实应用的面部动画的生成。

Feb, 2024

我们提出了一种从图像中学习具有人物特定的可动画化角色模型的方法，旨在解决面部表情追踪失败的问题，并实现高保真度的图像合成。

Nov, 2023

虚拟现实 (VR) 具有比其他媒体更具身临其境感的社交互动的潜力。关键在于能够在佩戴 VR 头显的同时准确地模拟一个逼真的个人化化身。本研究揭示了头显摄像头镜头与模型相差较大是导致实时模型性能下降的主要原因，并提出了一个系统设计，将问题分解为两部分：1) 一个迭代优化模块，处理同一领域的输入；2) 一个通用的以化身为导向的图像转换模块，以当前表情和头部姿态的估计为条件。这两个模块相互加强，通过展示接近真实的示例，使图像样式转换更容易，并改善领域差异移除。我们的系统高效地产生高质量的结果，不再需要昂贵的离线注册来生成个性化标签。通过在市售头显上进行大量实验证实了我们方法的准确性和效率，并在直接回归方法和离线注册上展现了显著的改进。

Jan, 2024

为了实现面部三维动画的情感表达和语音的同步，研究者开发了一种名为 EMOTE 的系统，它通过在空间局部和时间高频率上对语音内容进行口型识别来训练表情，同时维持与语音同步且具有完全的情感表达。

Jun, 2023

本文介绍了一种利用虚拟现实技术中红外监视器拍摄到的眼部图像，从而在遮挡部分面部的情况下，自动推断用户的表情，并生成动态的虚拟头像作为用户的表情代理。实验结果表明，该算法的准确度显示出性能优于人类评估者。

Jul, 2017

提出了一种新颖的自监督框架，名为 Versatile Face Animator，它将面部动作捕捉与动作重新定位结合起来，从而实现了在任意 3D 角色上进行面部动画的理想效果，并具备潜在的成本效益和高效率的潜力。

Aug, 2023

我们对 MegaPortraits 模型进行了深入的检查和评估，重点关注其用于面部表情描述符的潜在空间，并发现了其表达强烈面部动作能力的几个局限。为解决这些限制，我们提出了针对训练流程和模型架构的重大改进，推出了我们的 EMOPortraits 模型。该模型增强了对于真实支持强烈非对称面部表情的能力，在情感转移任务中取得了新的技术水平，在指标和质量方面超越了以往的方法。此外，我们将语音驱动模式融入模型，实现了在音频驱动的面部动画中的顶级性能，使得通过不同的模态，包括视觉信号、音频或两者的混合驱动源标识成为可能。还提出了一个新颖的多视角视频数据集，包括广泛范围的强烈非对称面部表情，填补了现有数据集中这类数据的空白。

Apr, 2024

使用视频驱动的动画模型，通过 LSTM 神经网络将人对应的表情特征转化为个性化的人物动画参数，从而实现了从视频输入中实现独立于个体的动画。

Mar, 2024