提出了一种基于图像的新方法FaceVR，该方法可基于自我再现实现VR视频会议，通过实时面部动作捕捉算法和单目视频的新数据驱动方法，FaceVR具备近乎逼真的成像效果和改变面部表情和目光方向的功能。

Oct, 2016

本文介绍了一种利用虚拟现实技术中红外监视器拍摄到的眼部图像，从而在遮挡部分面部的情况下，自动推断用户的表情，并生成动态的虚拟头像作为用户的表情代理。实验结果表明，该算法的准确度显示出性能优于人类评估者。

Jul, 2017

本文介绍一种基于摄像头驱动的模块化编解码头像（MCA）生成技术，能够 解决传统头像模型在表达面部表情和实时应用中存在的问题，从而在VR遥控应用方面有更好的应用。

Aug, 2020

本文提出一种利用神经放射场和局部像素对齐特征预测人头部的体积化代理，可以在多身份环境中进行泛化，并且无需明确的3D监督。该方法在以光度渲染损失为基础的端到端训练中表现出更好的质量，并且能够生成真实的面部表情。

Jan, 2021

本篇研究采用像素编码阿凡达（PiCA）作为一种深度生成模型，结合了卷积神经网络和自适应渲染的方法以实现在虚拟或增强现实中与逼真的人物形象进行面对面交流。实验表明，PiCA比现有技术在不同性别和肤色的人物上的表情和视图的再现具有更好的表现，并且比当前基准模型更为紧凑，使得在单个移动VR头显上同时呈现5个人物形象成为可能。

Apr, 2021

本文提出了一种名为Auto-CARD的框架，该框架通过最小化冗余源来启用仅使用设备计算资源时实时和鲁棒的Codec头像驱动，实现了在虚拟现实/增强现实中建立逼真的远程存在的可能性。

Apr, 2023

本文提出了一种适用于严格视图需求的VR面部动画的实时管道，从运营商的序列中提取操作员特定的外观信息，并将其映射到目标表情和头部姿态上，同时讨论了性能。

Apr, 2023

在虚拟现实环境中，我们提出了一种使用关键点和嘴部摄像头的混合方法来进行面部动画，以传达情感信号和模拟与特定个体互动的感知。我们的方法通过捕获两个短视频进行快速注册，利用多个源图像来覆盖不同的面部表情，并将嘴部摄像头信息注入潜在空间以解决关键点的歧义并实现更广泛范围的嘴部表情动画。该方法在质量、能力和时间一致性方面优于基线，并在ANA Avatar XPRIZE决赛中的胜利中突显了面部动画的贡献。

Dec, 2023

虚拟现实 (VR) 具有比其他媒体更具身临其境感的社交互动的潜力。关键在于能够在佩戴 VR 头显的同时准确地模拟一个逼真的个人化化身。本研究揭示了头显摄像头镜头与模型相差较大是导致实时模型性能下降的主要原因，并提出了一个系统设计，将问题分解为两部分：1) 一个迭代优化模块，处理同一领域的输入；2) 一个通用的以化身为导向的图像转换模块，以当前表情和头部姿态的估计为条件。这两个模块相互加强，通过展示接近真实的示例，使图像样式转换更容易，并改善领域差异移除。我们的系统高效地产生高质量的结果，不再需要昂贵的离线注册来生成个性化标签。通过在市售头显上进行大量实验证实了我们方法的准确性和效率，并在直接回归方法和离线注册上展现了显著的改进。

Jan, 2024

介绍了一种名为VOODOO XP的3D感知一次性头部复现方法，可以从任何输入驱动视频和单个2D肖像中生成高度表情丰富的面部表情。该方法具有实时性、视角一致性，并且可以即刻使用，无需校准或微调。在单眼视频设置和端到端虚拟现实远程呈现系统中演示了该解决方案，用于双向交流。与2D复现方法相比，3D感知方法旨在保留主体的身份，并确保对新的相机姿势视角一致的面部几何，从而使其适用于沉浸式应用。我们通过一种新颖的交叉复现架构，将驱动者的面部表情直接转移给输入源的3D抬升模块的变压器块来展示了高度有效的分解。我们展示了一种创新的多阶段自我监督方法，该方法基于粗到细的策略，并在初始训练阶段进行了明确的面部中性化和3D抬升正向化。我们进一步将这种新颖的头部复现解决方案集成到一个可访问的高保真虚拟现实远程呈现系统中，任何人都可以立即从任何照片创建个性化的神经头像，并使用头戴式显示器赋予其生命。我们在大量多样的主题和捕获环境上展示了在表情丰富性和相似性保持方面的最新性能。

May, 2024