基于关节级建模的稀疏观测的逼真全身跟踪

ICCVAug, 2023

基于关节级建模的稀疏观测的逼真全身跟踪

Realistic Full-Body Tracking from Sparse Observations via Joint-Level Modeling

Xiaozheng Zheng, Zhuo Su, Chao Wen, Zhou Xue, Xiaojie Jin

TL;DR提出了一个两阶段的框架，仅利用头部和手部的追踪信号可以获取准确而平滑的全身动作，通过学习大规模动作数据解决实时身体追踪的问题，并通过关节级特征建模和损失函数设计提高精确度和平滑度。在 AMASS 运动数据集和真实捕获数据上的广泛实验验证了设计的有效性，并表明相比现有方法，我们的提出的方法可以实现更准确和平滑的运动。

Abstract

To bridge the physical and virtual worlds for rapidly developed VR/AR applications, the ability to realistically drive 3d full-body avatars is of great significance. Although real-time body tracking with only the

vr/ar applications 3d full-body avatars body tracking neural network motion data

发现论文，激发创造

AvatarPoser: 从稀疏动作感知中获取关节化全身姿势跟踪

AvatarPoser 是第一个仅使用用户的头部和手部运动输入来预测世界坐标中全身姿势的基于学习的方法，具有较高的准确性和实时操作速度，并能够提供支持 Metaverse 应用的全面性化虚拟人物控制和表现的实用界面。

Jul, 2022

利用任务通用运动先验从非常稀疏信号中恢复全身运动

通过预测用户整体运动的潜在表征并将其与跟踪传感器输入集成，提出了一种利用神经运动先验信息以提高用户运动重建准确性的方法，该方法通过有限的输入信号重建用户的全身姿势，尤其增强了从贫乏信号中重建下半身运动的强健性。

Aug, 2023

头像长腿：使用扩散模型从稀疏跟踪输入生成平滑的人类动作

本研究提出一种基于条件扩散模型的新型解决方案 ——AGRoL，旨在根据稀疏的上肢追踪信号准确跟踪全身动作，通过在 AMASS 运动捕捉数据集上的训练和评估，证明我们的模型在预测和平滑全身运动方面优于现有的创新方法。

Apr, 2023

稀疏观测下的分层化角色生成

从 AR / VR 设备中估计 3D 全身化身对于创建 AR / VR 应用程序中的沉浸式体验至关重要。本文提出了一种分层方法，将传统的全身化身重建流程解耦为两个阶段，首先重建上半身，然后在先前阶段的基础上重建下半身。通过潜在扩散模型作为强大的概率生成器，并训练其遵循由 VQ-VAE 编码器 - 解码器模型探索的解耦动作的潜在分布，我们在 AMASS mocap 数据集上进行的广泛实验证明了我们在全身动作重建方面的最先进性能。

May, 2024

基于流的稀疏观测生成三维头像

针对在协作和交流中需要产生逼真可信的虚拟人物角色，本文提出了一种基于流的 3D 人体生成模型，通过学习 3D 人体姿势的条件分布和从观察到的数据到潜在空间的概率映射，生成能够确定关节不确定度的虚拟角色动作，证明了该方法不仅是一个强大的预测模型，还可以在各种优化环境中充当一个高效的姿势先验。

Mar, 2022

HMD-NeMo：基于稀疏观测的在线 3D 头盔角色动作生成

在本文中，我们提出了一种名为 HMD-NeMo 的轻量级神经网络，可以在线实时地预测全身动作，解决了只能部分可见手部情况下的全身动作生成问题，并在 AMASS 数据集上达到了新的最先进水平。

Aug, 2023

学习在虚拟世界中检测和跟踪可见和遮挡的身体关节

该文章提出了一种新的深度网络架构，它可以跟踪城市场景中的多个人物并解决遮挡问题，同时使用计算机图形学的数据集进行训练，取得了良好的跟踪效果。

Mar, 2018

使用单目摄像头实时捕捉带有部件相关性的全身动作

该研究提出了一种用于实时全身捕捉的方法，可以从一张彩色图像中估计身体和手部的形状和运动，同时还可以生成带有动态 3D 面部模型的手部和身体。其方法采用了一个新的神经网络架构，可以高效地利用身体和手部之间的相关性。与先前的方法不同，该方法可以在多个数据集上进行联合训练，而无需同时注释所有部分的数据，从而实现了更好的泛化能力。该方法可以更准确地捕获面部表情和颜色，还可以估计统计面部模型的形状，表情，颜色和照明参数。在公共基准测试中，该方法达到了竞争性的准确性，但速度更快，提供了更完整的面部重建。

Dec, 2020

BoDiffusion：用于全身人体运动合成的稀疏观测扩散

本研究提出了一种名为 BoDiffusion 的生成扩散模型，用于解决头戴式设备只能追踪头部和手部运动的局限，通过条件序列生成任务模拟全身运动，实验表明该模型在运动合成方面的性能优于现有模型。

Apr, 2023

HMD-Poser：基于可扩展稀疏观测的设备端实时人体动作跟踪

使用 HMD-Poser 方法实现了基于 VR 头戴式显示器的人体实时运动追踪，通过 HMD 和穿戴式 IMUs 之间的观察数据，提高了追踪精确度和易于佩戴性。通过实验表明，HMD-Poser 在精确度和实时性方面达到了最新的最佳效果，并通过实时的 Avatar-driving 应用程序证明了其性能。

Mar, 2024