Apr, 2024

单目视频和稀疏惯性测量单元的混合三维人体姿态估计

PDF
TL;DR我们提出了一个新的框架（Real-time Optimization and Fusion，RTOF），通过将稀疏惯性方向信息与参数化的人体骨骼结构相结合，优化并融合视觉和惯性观测数据，从而实现对时态三维人体姿势的准确估计和干扰问题的解决，提供平滑及生物力学合理的人体动作估计结果，并通过全面实验与消融研究验证了其合理性和效率。
temporal 3d human pose estimationinertial sensorreal-time optimization and fusionkinematicsablation studies
发现论文，激发创造
  • 稀疏惯性姿态估计：基于稀疏 IMUs 的自动 3D 人体姿态估计

    本文提出了一种利用少量惯性传感器进行人体动作捕捉的方法，通过应用逼真的统计身体模型和使用关节优化框架来实现六个传感器进行任意人类动作的三维姿态估计，并在户外场景下的运动中展示了其高准确性。

    Mar, 2017

  • 基于物理学的轨迹优化算法，从单目视频重建 3D 人体姿态

    本研究利用物理引擎对姿态估计过程进行改进，从而使得我们可以利用现实世界的场景推导出物体的运动。我们的公式具有广泛的应用场景，并可处理自身接触和与场景几何之间的接触。我们的方法在 Human3.6M 和 AIST 基准测试中均获得了与现有基于物理的方法相竞争的结果，同时不需要重新训练。

    May, 2022

  • 稀疏性与深度结合：单目视频中的 3D 人体姿态估计

    本文通过提出一种新的方法，在人体姿势估计中实现了更好的 3D 姿势估计精度，通过使用单目图像序列并利用深度全卷积网络预测 2D 关节位置的不确定性图，并使用期望最大化算法进行 3D 姿势估计。

    Nov, 2015

  • 融合可穿戴 IMU 与多视角图像用于人体姿态估计：一种几何方法

    采用几个附着在人体肢体上的 IMUs 和多视图图像估计人类的 3D 姿态并提出了一种基于几何学的方法，用于增强每对关节的视觉特征并使用它们将多视图 2D 姿势提升到 3D 空间中，这种方法称为方向正则化网络（ORN）。

    Mar, 2020

  • 利用时间上下文对野外三维人体姿态估计进行改进

    该研究通过基于束调整的算法从单眼视频中恢复准确的 3D 人体姿势和网格，通过在整个序列上重建人体来提供额外的约束并解决歧义问题。同时，该研究提出了一个包含超过 3 百万帧来自 Kinetics 的 YouTube 视频数据集，能够提高 3D 运动估计的准确性，该算法具有实际意义。

    May, 2019

  • Deep Inertial Poser: 实时学习从稀疏惯性测量中重建人体姿态

    本文提出一种使用深度神经网络实时重建人体姿势的方法，通过 6 个惯性测量单元记录数据并使用双向 RNN 体系结构学习时间姿势先验知识，用于维持实时预测能力。

    Oct, 2018

  • 将单目图像和稀疏 IMU 信号融合用于实时人体运动捕捉

    将 RGB 图像与惯性信号相结合的实时人体运动捕捉方法通过双坐标策略利用不同目标的 IMU 信号进行完全探索，并引入了隐藏状态反馈机制以应对极端输入情况。定量和定性结果表明，通过精心设计的融合方法，我们的技术在全局方向和局部姿势估计上明显优于最先进的视觉，IMU 和融合方法。

    Sep, 2023

  • TransPose: 具有六个惯性传感器的实时三维人体翻译和姿态估计

    本文提出了一种基于深度神经网络的新方法 TransPose，旨在通过仅 6 个惯性测量单元（IMUs）的运动数据，实现全身动作的捕捉，包括全局平移和身体姿势，并展示了其在准确性和效率方面优于目前的学习和优化方法。

    May, 2021

  • DeepFuse: 一种多视角图像下实时三维人体姿态估计的 IMU 感知网络

    本文提出一种名为 DeepFuse 的两阶段全 3D 网络，通过深度融合佩戴式 IMU 数据和多视角图像，实现人体姿态估计。其中第一阶段为纯视觉估计，第二阶段引入 IMU-bone 层，能在数据级别上进行 IMU 和视觉数据融合，不需要预先给出骨架模型。实验结果表明，该方法在各个数据集上均取得了优异的效果，未来有望成为 3D 姿态估计研究的重要方向。

    Dec, 2019

  • HybridCap: 惯性辅助的单目捕捉具有挑战性的人体运动

    本研究提出了一种名为 HybridCap 的轻量级、混合的 3D 运动捕捉技术，通过仅使用 4 个惯性测量单元的传感器，加上基于合作式门控循环单元块的层次运动推理模块和混合优化方案，可以实现对各种运动的鲁棒跟踪。

    Mar, 2022