HMD-Poser:基于可扩展稀疏观测的设备端实时人体动作跟踪
AvatarPoser 是第一个仅使用用户的头部和手部运动输入来预测世界坐标中全身姿势的基于学习的方法,具有较高的准确性和实时操作速度,并能够提供支持 Metaverse 应用的全面性化虚拟人物控制和表现的实用界面。
Jul, 2022
SparsePoser 是一种深度学习为基础的解决方案,用于从一组减少的六个跟踪设备中重建全身姿势。该方法在公开可用的动作捕捉数据集上进行了广泛评估,并通过实时演示显示了优于使用 IMU 传感器或 6 自由度跟踪设备的最先进技术,可适用于具有不同身体尺寸和比例的用户。
Nov, 2023
在本文中,我们提出了一种名为 HMD-NeMo 的轻量级神经网络,可以在线实时地预测全身动作,解决了只能部分可见手部情况下的全身动作生成问题,并在 AMASS 数据集上达到了新的最先进水平。
Aug, 2023
本文提出了一种名为 EgoPoser 的方法,通过重新思考基于头戴式设备的自我姿态估计的输入表示以及引入一种新的运动分解方法,在不依赖全局位置的情况下预测全身姿态,仅通过头戴式设备的视野内的间歇性手部位置和方向跟踪鲁棒地建模身体姿势,并且针对不同用户的各种身体尺寸进行了泛化。实验证明,EgoPoser 在质量和数量上都胜过了现有的方法,并且推断速度高达每秒超过 600 帧。EgoPoser 为未来的工作奠定了坚实的基础,不再需要依赖外部捕捉并能在大场景环境中扩展全身姿势估计。
Aug, 2023
通过利用惯性传感器,记录人体动作的摄像机捕捉系统以稳定为标准,但基于稀疏可穿戴传感器的基于学习的追踪系统越来越受欢迎。文章提出了一种新颖的三维全身姿势估计方法,通过用于测距的超宽带无线电技术对传感器之间的距离进行约束,从而限制了惯性追踪中的漂移和抖动。我们的方法通过轻量级嵌入式追踪器,将这些传感器之间的距离与每个传感器估计的三维状态进行融合,并使用基于图的机器学习模型处理这些三维状态和距离,从而估计人体的三维全身姿势和平移。实验证明,我们的方法在位置误差和抖动方面具有领先的性能。
Apr, 2024
提出了一个两阶段的框架,仅利用头部和手部的追踪信号可以获取准确而平滑的全身动作,通过学习大规模动作数据解决实时身体追踪的问题,并通过关节级特征建模和损失函数设计提高精确度和平滑度。在 AMASS 运动数据集和真实捕获数据上的广泛实验验证了设计的有效性,并表明相比现有方法,我们的提出的方法可以实现更准确和平滑的运动。
Aug, 2023
SimXR 是一种从 AR/VR 头显获取的信息(头显姿态和摄像头)控制模拟化身的方法,通过分析输入图像决定人体运动并与头显姿态协同作用,从而实现手部和脚部的精细动作,同时利用物理定律生成合理的运动。
Mar, 2024
本文介绍了一种使用可穿戴传感器来在与周围环境的 3D 扫描注册的人体中恢复完整的 3D 姿势的方法,该方法使用身体部位处的 IMU 和向外看的头戴式摄像机将基于相机的自定位与基于 IMU 的人体跟踪融合,并将 3D 场景约束集成到优化中,以获得无漂移的姿态精度,从而可以在更大的记录体积和更长的运动周期中捕获 3D 姿势,可用于虚拟现实 / 增强现实应用程序或通过第一人称视觉输入训练导航和与环境交互的代理。
Mar, 2021
通过 DragPoser,我们引入了一种新颖基于深度学习的动作重建系统,能够精确表示难以预测和动态的即时约束,达到实时的高端效应器位置准确性,并展示出对即时约束修改的强大适应性和对各种输入配置和变更的异常适应能力。
Apr, 2024
通过预测用户整体运动的潜在表征并将其与跟踪传感器输入集成,提出了一种利用神经运动先验信息以提高用户运动重建准确性的方法,该方法通过有限的输入信号重建用户的全身姿势,尤其增强了从贫乏信号中重建下半身运动的强健性。
Aug, 2023