Nov, 2023
基于 FisheyeViT 和基于扩散的动作精炼技术的自我中心全身运动捕获
Egocentric Whole-Body Motion Capture with FisheyeViT and Diffusion-Based Motion Refinement
Jian Wang, Zhe Cao, Diogo Luvizon, Lingjie Liu, Kripasindhu Sarkar...
TL;DR本研究中，我们探索了使用单个鱼眼相机进行自我中心的全身动作捕捉，同时估计人体和手部动作。我们提出了一种新的方法，利用 FisheyeViT 提取鱼眼图像特征，将其转换为像素对齐的 3D 热图表示以预测 3D 人体姿势。我们还整合了专用的手部检测和手部姿势估计网络以回归 3D 手部姿势。最后，我们开发了基于扩散的全身动作先验模型，以在考虑关节不确定性的同时对估计的全身动作进行优化。通过收集一个大型合成数据集 EgoWholeBody，其中包括 840,000 个高质量自我中心图像，涵盖了各种全身动作序列，我们训练了这些网络。定量和定性评估证明了我们的方法从单个自我中心相机生成高质量的全身动作估计的有效性。