AvatarPoser 是第一个仅使用用户的头部和手部运动输入来预测世界坐标中全身姿势的基于学习的方法，具有较高的准确性和实时操作速度，并能够提供支持 Metaverse 应用的全面性化虚拟人物控制和表现的实用界面。

Jul, 2022

通过预测用户整体运动的潜在表征并将其与跟踪传感器输入集成，提出了一种利用神经运动先验信息以提高用户运动重建准确性的方法，该方法通过有限的输入信号重建用户的全身姿势，尤其增强了从贫乏信号中重建下半身运动的强健性。

Aug, 2023

本研究提出了一种利用强化学习、物理模拟器和稀疏传感器数据实时将人类运动重定向到具有不同骨架结构的角色的方法，并仅需要运用运动捕捉数据进行培训，同时探讨了该框架中的重要组件。

Jul, 2023

提出了一个两阶段的框架，仅利用头部和手部的追踪信号可以获取准确而平滑的全身动作，通过学习大规模动作数据解决实时身体追踪的问题，并通过关节级特征建模和损失函数设计提高精确度和平滑度。在 AMASS 运动数据集和真实捕获数据上的广泛实验验证了设计的有效性，并表明相比现有方法，我们的提出的方法可以实现更准确和平滑的运动。

Aug, 2023

虚拟现实 (VR) 具有比其他媒体更具身临其境感的社交互动的潜力。关键在于能够在佩戴 VR 头显的同时准确地模拟一个逼真的个人化化身。本研究揭示了头显摄像头镜头与模型相差较大是导致实时模型性能下降的主要原因，并提出了一个系统设计，将问题分解为两部分：1) 一个迭代优化模块，处理同一领域的输入；2) 一个通用的以化身为导向的图像转换模块，以当前表情和头部姿态的估计为条件。这两个模块相互加强，通过展示接近真实的示例，使图像样式转换更容易，并改善领域差异移除。我们的系统高效地产生高质量的结果，不再需要昂贵的离线注册来生成个性化标签。通过在市售头显上进行大量实验证实了我们方法的准确性和效率，并在直接回归方法和离线注册上展现了显著的改进。

Jan, 2024

SimXR 是一种从 AR/VR 头显获取的信息（头显姿态和摄像头）控制模拟化身的方法，通过分析输入图像决定人体运动并与头显姿态协同作用，从而实现手部和脚部的精细动作，同时利用物理定律生成合理的运动。

Mar, 2024

从 AR / VR 设备中估计 3D 全身化身对于创建 AR / VR 应用程序中的沉浸式体验至关重要。本文提出了一种分层方法，将传统的全身化身重建流程解耦为两个阶段，首先重建上半身，然后在先前阶段的基础上重建下半身。通过潜在扩散模型作为强大的概率生成器，并训练其遵循由 VQ-VAE 编码器 - 解码器模型探索的解耦动作的潜在分布，我们在 AMASS mocap 数据集上进行的广泛实验证明了我们在全身动作重建方面的最先进性能。

May, 2024

在虚拟现实环境中，我们提出了一种使用关键点和嘴部摄像头的混合方法来进行面部动画，以传达情感信号和模拟与特定个体互动的感知。我们的方法通过捕获两个短视频进行快速注册，利用多个源图像来覆盖不同的面部表情，并将嘴部摄像头信息注入潜在空间以解决关键点的歧义并实现更广泛范围的嘴部表情动画。该方法在质量、能力和时间一致性方面优于基线，并在 ANA Avatar XPRIZE 决赛中的胜利中突显了面部动画的贡献。

Dec, 2023

本研究提出一种基于条件扩散模型的新型解决方案 ——AGRoL，旨在根据稀疏的上肢追踪信号准确跟踪全身动作，通过在 AMASS 运动捕捉数据集上的训练和评估，证明我们的模型在预测和平滑全身运动方面优于现有的创新方法。

Apr, 2023

SparsePoser 是一种深度学习为基础的解决方案，用于从一组减少的六个跟踪设备中重建全身姿势。该方法在公开可用的动作捕捉数据集上进行了广泛评估，并通过实时演示显示了优于使用 IMU 传感器或 6 自由度跟踪设备的最先进技术，可适用于具有不同身体尺寸和比例的用户。

Nov, 2023