稀疏惯性姿态估计:基于稀疏 IMUs 的自动 3D 人体姿态估计
该研究介绍了一种使用稀疏惯性传感器的新型人体姿势估计方法,该方法通过利用来自不同骨骼格式的多样的真实惯性运动捕捉数据,改进了以往依赖合成数据方法的缺点,包括两个创新组件:基于伪速度回归模型的惯性传感器动态运动捕捉和将身体和传感器数据分为三个区域的基于部件的模型,每个区域都专注于其独特的特征。该方法在五个公共数据集上表现出优越的性能,特别是在 DIP-IMU 数据集上将姿势误差减少了 19%,从而实现了惯性传感器人体姿势估计的重要改进。我们将公开实现我们的模型供公众使用。
Dec, 2023
通过利用惯性传感器,记录人体动作的摄像机捕捉系统以稳定为标准,但基于稀疏可穿戴传感器的基于学习的追踪系统越来越受欢迎。文章提出了一种新颖的三维全身姿势估计方法,通过用于测距的超宽带无线电技术对传感器之间的距离进行约束,从而限制了惯性追踪中的漂移和抖动。我们的方法通过轻量级嵌入式追踪器,将这些传感器之间的距离与每个传感器估计的三维状态进行融合,并使用基于图的机器学习模型处理这些三维状态和距离,从而估计人体的三维全身姿势和平移。实验证明,我们的方法在位置误差和抖动方面具有领先的性能。
Apr, 2024
利用 6 个惯性传感器,通过神经运动学估计器和物理感知运动优化器,实现身体运动的跟踪和重建,并在运动捕获精度、时间稳定性和物理正确性方面实现了极大的提高。
Mar, 2022
SparsePoser 是一种深度学习为基础的解决方案,用于从一组减少的六个跟踪设备中重建全身姿势。该方法在公开可用的动作捕捉数据集上进行了广泛评估,并通过实时演示显示了优于使用 IMU 传感器或 6 自由度跟踪设备的最先进技术,可适用于具有不同身体尺寸和比例的用户。
Nov, 2023
本文提出一种使用深度神经网络实时重建人体姿势的方法,通过 6 个惯性测量单元记录数据并使用双向 RNN 体系结构学习时间姿势先验知识,用于维持实时预测能力。
Oct, 2018
这篇论文介绍了一种名为 “Diffusion Inertial Poser”(DiffIP)的单一扩散生成模型,能够从任意 IMU 配置实时重构人体运动。该系统具有灵活性,适用于不同的应用,且与常用的六个 IMU 配置一样准确。
Aug, 2023
我们提出了一个新的框架(Real-time Optimization and Fusion,RTOF),通过将稀疏惯性方向信息与参数化的人体骨骼结构相结合,优化并融合视觉和惯性观测数据,从而实现对时态三维人体姿势的准确估计和干扰问题的解决,提供平滑及生物力学合理的人体动作估计结果,并通过全面实验与消融研究验证了其合理性和效率。
Apr, 2024
本文提出了一种基于深度神经网络的新方法 TransPose,旨在通过仅 6 个惯性测量单元(IMUs)的运动数据,实现全身动作的捕捉,包括全局平移和身体姿势,并展示了其在准确性和效率方面优于目前的学习和优化方法。
May, 2021
利用可穿戴设备进行动作重建已成为一种经济且可行的技术,在稀疏的惯性测量单元(IMUs)数据上建立人体姿势模型存在着困扰,本文通过多传感器的空间重要性和文本描述的监督引入不确定性来获取每个 IMU 的加权特征,并设计了一种层次时间变换器(HTT)和对比学习来实现传感器数据与文本语义的精确时间和特征对齐。实验证明我们的方法在多个指标上相比现有方法有显著改进,尤其是在文本监督下,我们的方法不仅能区分诸如坐下和站起之类的模糊动作,还能产生更精确和自然的动作。
Dec, 2023
人体姿态估计 (HPE) 是评估体育、康复或工作安全中的人体运动所需的具有良好隐私保护的准确感知,因此在此类系统中需要进行局部处理,可以通过惯性测量单元 (IMU) 来解决能源有限的问题。我们通过模拟设计空间勘探 (DSE) 探讨了准确性和硬件资源有效利用之间的核心平衡问题,通过不同传感器配置生成 IMU 数据并用该数据训练深度学习模型,并提出了一个综合指标来评估准确性和资源之间的平衡问题。我们通过 DSE 工具来评估传感器配置,并为特定用例确定有益的配置。作为例子,对于准确性和资源同等重要的系统,我们确定了一个有利的传感器配置,使用 4 个传感器可以将网格误差减小 6.03 cm,准确性提高 32.7%,并减少两个传感器的硬件开销,相比现有技术水平。我们的工作可用于设计具有适当传感器位置、数据隐私保护和资源感知能力的健康应用。
Jul, 2023