DragPoser: 通过潜空间优化从变量稀疏追踪信号中重建运动

Apr, 2024

DragPoser: 通过潜空间优化从变量稀疏追踪信号中重建运动

DragPoser: Motion Reconstruction from Variable Sparse Tracking Signals via Latent Space Optimization

Jose Luis Ponton, Eduard Pujol, Andreas Aristidou, Carlos Andujar, Nuria Pelechano

TL;DR通过 DragPoser，我们引入了一种新颖基于深度学习的动作重建系统，能够精确表示难以预测和动态的即时约束，达到实时的高端效应器位置准确性，并展示出对即时约束修改的强大适应性和对各种输入配置和变更的异常适应能力。

Abstract

High-quality motion reconstruction that follows the user's movements can be achieved by high-end mocap systems with many sensors. However, obtaining such animation quality with fewer input devices is gaining popularity as it brings mocap closer to the general public. The main challenge

motion reconstruction deep learning end-effector accuracy on-the-fly constraints temporal coherence

发现论文，激发创造

SparsePoser: 实时全身运动重建从稀疏数据

SparsePoser 是一种深度学习为基础的解决方案，用于从一组减少的六个跟踪设备中重建全身姿势。该方法在公开可用的动作捕捉数据集上进行了广泛评估，并通过实时演示显示了优于使用 IMU 传感器或 6 自由度跟踪设备的最先进技术，可适用于具有不同身体尺寸和比例的用户。

Nov, 2023

超惯性姿态：基于稀疏惯性传感器和超宽频测距的可扩展动作捕捉和跟踪

通过利用惯性传感器，记录人体动作的摄像机捕捉系统以稳定为标准，但基于稀疏可穿戴传感器的基于学习的追踪系统越来越受欢迎。文章提出了一种新颖的三维全身姿势估计方法，通过用于测距的超宽带无线电技术对传感器之间的距离进行约束，从而限制了惯性追踪中的漂移和抖动。我们的方法通过轻量级嵌入式追踪器，将这些传感器之间的距离与每个传感器估计的三维状态进行融合，并使用基于图的机器学习模型处理这些三维状态和距离，从而估计人体的三维全身姿势和平移。实验证明，我们的方法在位置误差和抖动方面具有领先的性能。

Apr, 2024

HMD-Poser：基于可扩展稀疏观测的设备端实时人体动作跟踪

使用 HMD-Poser 方法实现了基于 VR 头戴式显示器的人体实时运动追踪，通过 HMD 和穿戴式 IMUs 之间的观察数据，提高了追踪精确度和易于佩戴性。通过实验表明，HMD-Poser 在精确度和实时性方面达到了最新的最佳效果，并通过实时的 Avatar-driving 应用程序证明了其性能。

Mar, 2024

AvatarPoser: 从稀疏动作感知中获取关节化全身姿势跟踪

AvatarPoser 是第一个仅使用用户的头部和手部运动输入来预测世界坐标中全身姿势的基于学习的方法，具有较高的准确性和实时操作速度，并能够提供支持 Metaverse 应用的全面性化虚拟人物控制和表现的实用界面。

Jul, 2022

MOVIN: 使用单个 LiDAR 的实时运动捕捉

本文介绍了使用单个激光雷达传感器进行实时动作捕捉的数据驱动生成方法 MOVIN，结合自回归条件变分自编码器 (CVAE) 模型和姿势生成器，通过学习 3D 点云与全局、局部姿势特征之间的相关性，实现了准确的 3D 全局信息和局部关节细节的预测，并考虑了帧间时间连贯性，通过定量和定性评估验证了我们的架构的有效性，并在真实场景中实现了实时应用。

Sep, 2023

Deep Inertial Poser: 实时学习从稀疏惯性测量中重建人体姿态

本文提出一种使用深度神经网络实时重建人体姿势的方法，通过 6 个惯性测量单元记录数据并使用双向 RNN 体系结构学习时间姿势先验知识，用于维持实时预测能力。

Oct, 2018

稀疏惯性姿态估计：基于稀疏 IMUs 的自动 3D 人体姿态估计

本文提出了一种利用少量惯性传感器进行人体动作捕捉的方法，通过应用逼真的统计身体模型和使用关节优化框架来实现六个传感器进行任意人类动作的三维姿态估计，并在户外场景下的运动中展示了其高准确性。

Mar, 2017

TransPose: 具有六个惯性传感器的实时三维人体翻译和姿态估计

本文提出了一种基于深度神经网络的新方法 TransPose，旨在通过仅 6 个惯性测量单元（IMUs）的运动数据，实现全身动作的捕捉，包括全局平移和身体姿势，并展示了其在准确性和效率方面优于目前的学习和优化方法。

May, 2021

EgoPoser：大场景下鲁棒实时自我身体姿势估计

本文提出了一种名为 EgoPoser 的方法，通过重新思考基于头戴式设备的自我姿态估计的输入表示以及引入一种新的运动分解方法，在不依赖全局位置的情况下预测全身姿态，仅通过头戴式设备的视野内的间歇性手部位置和方向跟踪鲁棒地建模身体姿势，并且针对不同用户的各种身体尺寸进行了泛化。实验证明，EgoPoser 在质量和数量上都胜过了现有的方法，并且推断速度高达每秒超过 600 帧。EgoPoser 为未来的工作奠定了坚实的基础，不再需要依赖外部捕捉并能在大场景环境中扩展全身姿势估计。

Aug, 2023

动态惯性姿势估计器 (DynaIP): 利用稀疏惯性传感器进行基于部分的运动动力学学习以提升人体姿势估计

该研究介绍了一种使用稀疏惯性传感器的新型人体姿势估计方法，该方法通过利用来自不同骨骼格式的多样的真实惯性运动捕捉数据，改进了以往依赖合成数据方法的缺点，包括两个创新组件：基于伪速度回归模型的惯性传感器动态运动捕捉和将身体和传感器数据分为三个区域的基于部件的模型，每个区域都专注于其独特的特征。该方法在五个公共数据集上表现出优越的性能，特别是在 DIP-IMU 数据集上将姿势误差减少了 19％，从而实现了惯性传感器人体姿势估计的重要改进。我们将公开实现我们的模型供公众使用。

Dec, 2023