CVPRApr, 2021

SimPoE: 用于三维人体姿势估计的模拟角色控制

PDF
TL;DRSimPoE 是一种基于模拟的 3D 人体姿势估计方法，结合了基于图像的动力学推断和基于物理的动态建模，通过强化学习联合学习运动中的运动学姿态精细化单元以及基于动力学的控制生成单元，提高了姿势估计的准确性和物理可信度。
3d human motionkinematicsdynamicspose estimationphysically-simulated character
发现论文，激发创造
  • 基于动力学调整的自我中心姿态估计运动策略

    提出一种物体感知的三维自我中心姿态估计方法，通过运动学建模、动力学建模和场景中物体的信息紧密集成，在物体感知的基础上估计出物理上合理的三维人体 - 物体交互姿态，并在受控实验和现实场景中进行评估。

    Jun, 2021

  • 基于物理学的轨迹优化算法，从单目视频重建 3D 人体姿态

    本研究利用物理引擎对姿态估计过程进行改进，从而使得我们可以利用现实世界的场景推导出物体的运动。我们的公式具有广泛的应用场景，并可处理自身接触和与场景几何之间的接触。我们的方法在 Human3.6M 和 AIST 基准测试中均获得了与现有基于物理的方法相竞争的结果，同时不需要重新训练。

    May, 2022

  • 光学非直接视物理学基于 3D 人体姿势估计

    本文通过光学非视线成像系统获取的瞬态图像描述了一种实现 3D 人体姿势估计的方法，通过使用间接反射的光线，实现了从街角窥视的功能；该方法将非视线成像、人体姿势估计和深度强化学习等多个领域的技术结合起来，通过端对端的数据处理流程，将源源不断的光子测量转换为整个 3D 人体姿势序列的估计，并通过数据综合和增强策略实现靠近现实的 NLOS 成像系统数据的预测。初步实验结果表明，本文所提出的方法可以推广至真实世界的 NLOS 测量，从而实现估算物理上有效的 3D 人体姿势。

    Mar, 2020

  • QuestEnvSim：基于环境感知的稀疏传感器模拟运动跟踪

    使用强化学习相结合的物理模拟和环境观察，可以在高度约束的环境中生成逼真的全身姿势，从而避免接触的干扰。

    Jun, 2023

  • 头戴式传感器实时模拟化身

    SimXR 是一种从 AR/VR 头显获取的信息（头显姿态和摄像头）控制模拟化身的方法，通过分析输入图像决定人体运动并与头显姿态协同作用，从而实现手部和脚部的精细动作，同时利用物理定律生成合理的运动。

    Mar, 2024

  • MetaPose: 无需 3D 监督，快速从多视图中获得 3D 姿态

    本文介绍如何使用神经网络模型进行多摄像头人体姿势估计，在考虑多角度遮挡及联合位置不确定性情况下，使用 2D 关键点数据进行训练。相比于经典捆绑调整与弱监督单目 3D 基线方法，我们的模型在 Human3.6M 和 Ski-Pose PTZ 数据集上表现更好。

    Aug, 2021

  • DeepSimHO：基于物理仿真的手物交互的稳定姿势估计

    本文提出了一种使用深度学习和物理模拟相结合的新颖方法，用于通过单个图像观察进行手部与物体的三维姿态估计，通过利用动力学约束改善估计的稳定性和效率。

    Oct, 2023

  • 基于物理的视频人体运动估计和合成

    通过单眼 RGB 视频直接训练具有物理可行性的人体运动的生成模型，该方法通过可微分的方式实现了物理约束和接触关系优化，并实现了与之前基于姿态识别的方法相比更高质量、更真实、更多样化的运动合成与估计。

    Sep, 2021

  • 实时 PD 控制下的自我姿势估计和预测

    本文提出基于比例微分 (PD) 控制的强化学习策略，从第一人称视角视频中学习估计和预测 3D 人体姿势，同时提出了基于视频条件的递归控制技术和基于价值函数的失效保护机制来提高运行效率，并在控制数据和实际场景中得到了优异的实验结果。

    Jun, 2019

  • 单目视频和稀疏惯性测量单元的混合三维人体姿态估计

    我们提出了一个新的框架（Real-time Optimization and Fusion，RTOF），通过将稀疏惯性方向信息与参数化的人体骨骼结构相结合，优化并融合视觉和惯性观测数据，从而实现对时态三维人体姿势的准确估计和干扰问题的解决，提供平滑及生物力学合理的人体动作估计结果，并通过全面实验与消融研究验证了其合理性和效率。

    Apr, 2024