Dec, 2019

DeepFuse: 一种多视角图像下实时三维人体姿态估计的 IMU 感知网络

PDF
TL;DR本文提出一种名为 DeepFuse 的两阶段全 3D 网络，通过深度融合佩戴式 IMU 数据和多视角图像，实现人体姿态估计。其中第一阶段为纯视觉估计，第二阶段引入 IMU-bone 层，能在数据级别上进行 IMU 和视觉数据融合，不需要预先给出骨架模型。实验结果表明，该方法在各个数据集上均取得了优异的效果，未来有望成为 3D 姿态估计研究的重要方向。
3d networkhuman pose estimationimu fusionmulti-view imagesskeleton
发现论文，激发创造
  • AdaFuse: 适应性多视角融合，用于野外准确人体姿态估计

    提出一种自适应多视角融合方法 AdaFuse 来提高 Human Pose Estimation 在遮挡背景下的准确性，其核心内容在于通过热图的稀疏性探索两个视图之间的点对应关系和学习每个摄像头视图的自适应融合权重，在公共数据集和大规模合成数据集上得到了比其他方法更优的结果。

    Oct, 2020

  • Deep Inertial Poser: 实时学习从稀疏惯性测量中重建人体姿态

    本文提出一种使用深度神经网络实时重建人体姿势的方法，通过 6 个惯性测量单元记录数据并使用双向 RNN 体系结构学习时间姿势先验知识，用于维持实时预测能力。

    Oct, 2018

  • 融合可穿戴 IMU 与多视角图像用于人体姿态估计：一种几何方法

    采用几个附着在人体肢体上的 IMUs 和多视图图像估计人类的 3D 姿态并提出了一种基于几何学的方法，用于增强每对关节的视觉特征并使用它们将多视图 2D 姿势提升到 3D 空间中，这种方法称为方向正则化网络（ORN）。

    Mar, 2020

  • 单目视频和稀疏惯性测量单元的混合三维人体姿态估计

    我们提出了一个新的框架（Real-time Optimization and Fusion，RTOF），通过将稀疏惯性方向信息与参数化的人体骨骼结构相结合，优化并融合视觉和惯性观测数据，从而实现对时态三维人体姿势的准确估计和干扰问题的解决，提供平滑及生物力学合理的人体动作估计结果，并通过全面实验与消融研究验证了其合理性和效率。

    Apr, 2024

  • 学习融合 2D 和 3D 图像线索用于单眼人体姿态估计

    该研究利用深度学习在单目 3D 人体姿势估计领域提出了一种新型结构，可以同时从图像中推算出 3D 关节坐标和 2D 关节位置，使用可训练的融合方案使信息得以最佳融合，从而在标准的 3D 人体姿势估计基准测试中大幅提高了现有技术水平。

    Nov, 2016

  • TransPose: 具有六个惯性传感器的实时三维人体翻译和姿态估计

    本文提出了一种基于深度神经网络的新方法 TransPose，旨在通过仅 6 个惯性测量单元（IMUs）的运动数据，实现全身动作的捕捉，包括全局平移和身体姿势，并展示了其在准确性和效率方面优于目前的学习和优化方法。

    May, 2021

  • 将单目图像和稀疏 IMU 信号融合用于实时人体运动捕捉

    将 RGB 图像与惯性信号相结合的实时人体运动捕捉方法通过双坐标策略利用不同目标的 IMU 信号进行完全探索，并引入了隐藏状态反馈机制以应对极端输入情况。定量和定性结果表明，通过精心设计的融合方法，我们的技术在全局方向和局部姿势估计上明显优于最先进的视觉，IMU 和融合方法。

    Sep, 2023

  • 稀疏惯性姿态估计：基于稀疏 IMUs 的自动 3D 人体姿态估计

    本文提出了一种利用少量惯性传感器进行人体动作捕捉的方法，通过应用逼真的统计身体模型和使用关节优化框架来实现六个传感器进行任意人类动作的三维姿态估计，并在户外场景下的运动中展示了其高准确性。

    Mar, 2017

  • MetaFuse：一种预训练的融合模型用于人体姿态估计

    该研究介绍了 MetaFuse，一种预先训练的交叉视图特征融合模型，通过使用大量摄像机进行元学习，提高了其对不同相机姿势的适应能力，并证实了其在实践中具有的价值。

    Mar, 2020

  • TransFusion：基于 Transformer 的跨视角三维人体姿态融合估计

    该研究论文提出了一种可应用于多视角 3D 姿态估计中的变换器框架，该框架可以直接整合来自不同视角的信息，以改善 2D 预测器的性能。同时，研究人员还提出了一个名为 Epipolar field 的概念，它可以将 3D 位置信息编码到变换器模型中。实验证明，该方法更加高效，与其他融合方法相比有一致的改进。

    Oct, 2021