通过两个智能手表和一个头戴相机，我们提出了一种轻量级且经济实惠的动作捕捉方法，与使用六个或更多专业级 IMU 设备的现有方法相比，我们的方法更具成本效益和便利性，能够使可穿戴式动作捕捉技术普及化，实现在不同环境中的 3D 全身动作捕捉。同时，我们还引入了从头戴相机获取的 6D 头部姿势，以克服传感器输入的稀疏性和模糊性，并提出了一种跟踪和更新楼层变化来定义头部姿势的算法，以及一个多阶段的基于 Transformer 的回归模块。此外，我们还引入了利用自我中心图像的视觉线索来进一步提高动作捕捉质量并减少模糊性的新策略。我们在包括复杂的室外环境和多个个体之间的物体交互和社交互动在内的各种具有挑战性的场景中展示了我们方法的性能。

Jan, 2024

提出了一种基于图像的新方法 FaceVR，该方法可基于自我再现实现 VR 视频会议，通过实时面部动作捕捉算法和单目视频的新数据驱动方法，FaceVR 具备近乎逼真的成像效果和改变面部表情和目光方向的功能。

Oct, 2016

MeciFace 是一款低功耗、隐私保护的实时可穿戴设备，使用卷积神经网络监测面部表情和进食活动，能够实时监控面部表情和饮食，且在测试中取得了良好的效果。

Jun, 2023

使用 HMD-Poser 方法实现了基于 VR 头戴式显示器的人体实时运动追踪，通过 HMD 和穿戴式 IMUs 之间的观察数据，提高了追踪精确度和易于佩戴性。通过实验表明，HMD-Poser 在精确度和实时性方面达到了最新的最佳效果，并通过实时的 Avatar-driving 应用程序证明了其性能。

Mar, 2024

本文介绍了一种基于移动设备的增强现实应用程序中的运动跟踪系统，该系统可以在无需标定的情况下进行稳健的平面目标跟踪和相对比例 6DoF 跟踪，该系统已在数亿个设备上部署，并应用于多个主要产品中。

Jul, 2019

提出了一种新的实时方法，基于单个鱼眼摄像头和轻量级设备设置，通过 CNN 在个人视角测量人体姿态，使得在广泛的日常活动中成为可能。

Mar, 2018

本文提出了一种基于神经网络的端到端模型，从单个摄像头输入中推断出人脸的近似 3D 网格表示，适用于 AR 应用程序。该模型具有相对密集的 468 个顶点网格模型，非常适合基于人脸的 AR 效果。该模型在移动 GPU 上具有超级实时推断速度（100-1000+FPS，取决于设备和模型变体），并且预测质量与同一图像的手动注释的变化相当。

Jul, 2019

在本文中，我们提出了一种名为 HMD-NeMo 的轻量级神经网络，可以在线实时地预测全身动作，解决了只能部分可见手部情况下的全身动作生成问题，并在 AMASS 数据集上达到了新的最先进水平。

Aug, 2023

本文介绍了一种利用虚拟现实技术中红外监视器拍摄到的眼部图像，从而在遮挡部分面部的情况下，自动推断用户的表情，并生成动态的虚拟头像作为用户的表情代理。实验结果表明，该算法的准确度显示出性能优于人类评估者。

Jul, 2017

本研究提出一种新颖的自动眼动追踪方案，使用高斯过程回归模型对角膜位置与屏幕位置之间的连续映射进行建模，以消除了对显式标定步骤的需求，并自动对头戴显示器相对于头部的微小移动进行补偿，从而达到了与显式标定步骤几乎相同的准确性。

Dec, 2016