Oct, 2018

Deep Inertial Poser: 实时学习从稀疏惯性测量中重建人体姿态

PDF
TL;DR本文提出一种使用深度神经网络实时重建人体姿势的方法，通过 6 个惯性测量单元记录数据并使用双向 RNN 体系结构学习时间姿势先验知识，用于维持实时预测能力。
deep neural networkhuman full body poseinertial measurement units (imus)temporal pose priorsreal-time prediction
发现论文，激发创造
  • SparsePoser: 实时全身运动重建从稀疏数据

    SparsePoser 是一种深度学习为基础的解决方案，用于从一组减少的六个跟踪设备中重建全身姿势。该方法在公开可用的动作捕捉数据集上进行了广泛评估，并通过实时演示显示了优于使用 IMU 传感器或 6 自由度跟踪设备的最先进技术，可适用于具有不同身体尺寸和比例的用户。

    Nov, 2023

  • 擴散態慣性姿態估計：從任意稀疏 IMU 配置中重建人體運動

    这篇论文介绍了一种名为 “Diffusion Inertial Poser”（DiffIP）的单一扩散生成模型，能够从任意 IMU 配置实时重构人体运动。该系统具有灵活性，适用于不同的应用，且与常用的六个 IMU 配置一样准确。

    Aug, 2023

  • 稀疏惯性姿态估计：基于稀疏 IMUs 的自动 3D 人体姿态估计

    本文提出了一种利用少量惯性传感器进行人体动作捕捉的方法，通过应用逼真的统计身体模型和使用关节优化框架来实现六个传感器进行任意人类动作的三维姿态估计，并在户外场景下的运动中展示了其高准确性。

    Mar, 2017

  • 动态惯性姿势估计器 (DynaIP): 利用稀疏惯性传感器进行基于部分的运动动力学学习以提升人体姿势估计

    该研究介绍了一种使用稀疏惯性传感器的新型人体姿势估计方法，该方法通过利用来自不同骨骼格式的多样的真实惯性运动捕捉数据，改进了以往依赖合成数据方法的缺点，包括两个创新组件：基于伪速度回归模型的惯性传感器动态运动捕捉和将身体和传感器数据分为三个区域的基于部件的模型，每个区域都专注于其独特的特征。该方法在五个公共数据集上表现出优越的性能，特别是在 DIP-IMU 数据集上将姿势误差减少了 19％，从而实现了惯性传感器人体姿势估计的重要改进。我们将公开实现我们的模型供公众使用。

    Dec, 2023

  • DeepFuse: 一种多视角图像下实时三维人体姿态估计的 IMU 感知网络

    本文提出一种名为 DeepFuse 的两阶段全 3D 网络，通过深度融合佩戴式 IMU 数据和多视角图像，实现人体姿态估计。其中第一阶段为纯视觉估计，第二阶段引入 IMU-bone 层，能在数据级别上进行 IMU 和视觉数据融合，不需要预先给出骨架模型。实验结果表明，该方法在各个数据集上均取得了优异的效果，未来有望成为 3D 姿态估计研究的重要方向。

    Dec, 2019

  • TransPose: 具有六个惯性传感器的实时三维人体翻译和姿态估计

    本文提出了一种基于深度神经网络的新方法 TransPose，旨在通过仅 6 个惯性测量单元（IMUs）的运动数据，实现全身动作的捕捉，包括全局平移和身体姿势，并展示了其在准确性和效率方面优于目前的学习和优化方法。

    May, 2021

  • 超惯性姿态：基于稀疏惯性传感器和超宽频测距的可扩展动作捕捉和跟踪

    通过利用惯性传感器，记录人体动作的摄像机捕捉系统以稳定为标准，但基于稀疏可穿戴传感器的基于学习的追踪系统越来越受欢迎。文章提出了一种新颖的三维全身姿势估计方法，通过用于测距的超宽带无线电技术对传感器之间的距离进行约束，从而限制了惯性追踪中的漂移和抖动。我们的方法通过轻量级嵌入式追踪器，将这些传感器之间的距离与每个传感器估计的三维状态进行融合，并使用基于图的机器学习模型处理这些三维状态和距离，从而估计人体的三维全身姿势和平移。实验证明，我们的方法在位置误差和抖动方面具有领先的性能。

    Apr, 2024

  • IMUOptimize：一种基于数据驱动的优化 IMU 放置方法，用于基于 Transformer 架构的人体姿态估计

    利用 IMU 数据预测人体姿势的研究表明，采用数据驱动的策略和基于 Transformer 的模型架构可以在时间序列分析中提供等同于 6 个 IMU 的性能，从而显著提高了 IMU 基础姿态估计领域的精度。

    Feb, 2024

  • 单目视频和稀疏惯性测量单元的混合三维人体姿态估计

    我们提出了一个新的框架（Real-time Optimization and Fusion，RTOF），通过将稀疏惯性方向信息与参数化的人体骨骼结构相结合，优化并融合视觉和惯性观测数据，从而实现对时态三维人体姿势的准确估计和干扰问题的解决，提供平滑及生物力学合理的人体动作估计结果，并通过全面实验与消融研究验证了其合理性和效率。

    Apr, 2024

  • 基于稀疏 IMU 传感的高效准确人体姿势估计的设计空间探索

    人体姿态估计 (HPE) 是评估体育、康复或工作安全中的人体运动所需的具有良好隐私保护的准确感知，因此在此类系统中需要进行局部处理，可以通过惯性测量单元 (IMU) 来解决能源有限的问题。我们通过模拟设计空间勘探 (DSE) 探讨了准确性和硬件资源有效利用之间的核心平衡问题，通过不同传感器配置生成 IMU 数据并用该数据训练深度学习模型，并提出了一个综合指标来评估准确性和资源之间的平衡问题。我们通过 DSE 工具来评估传感器配置，并为特定用例确定有益的配置。作为例子，对于准确性和资源同等重要的系统，我们确定了一个有利的传感器配置，使用 4 个传感器可以将网格误差减小 6.03 cm，准确性提高 32.7%，并减少两个传感器的硬件开销，相比现有技术水平。我们的工作可用于设计具有适当传感器位置、数据隐私保护和资源感知能力的健康应用。

    Jul, 2023