从单目视频中估计人 - 物交互的 3D 运动和力量

Apr, 2019

从单目视频中估计人 - 物交互的 3D 运动和力量

Estimating 3D Motion and Forces of Person-Object Interactions from Monocular Video

Zongmian Li, Jiri Sedlar, Justin Carpentier, Ivan Laptev, Nicolas Mansard...

TL;DR本文提出了一种从单个 RGB 视频自动重建与对象的人交互的 3D 运动的方法，估计人和物体的 3D 姿势，接触位置，被人类肢体激活的力和扭矩，方法主要集中在联合估计运动和动作力，运用大规模的轨迹优化问题，并且从输入视频自动识别出人与物体或地面之间的接触位置和时间，于真实数据集上验证了方法并展示了它在新的互联网视频数据集中的性能。

Abstract

In this paper, we introduce a method to automatically reconstruct the 3D motion of a person interacting with an object from a single RGB video. Our method estimates the 3D poses of the person and the object, contact positions, and forces and torques actuated by the human limbs. The main contributions of this work are three-fold. First, we introduce an approa

3d motion reconstruction contact forces human-object interactions trajectory optimization motion recognition

发现论文，激发创造

单目视频中的接触与人类动力学

本文介绍了一种基于物理模型的方法，用于从视频中推断 3D 人体运动，该方法利用初始的 2D 和 3D 姿态估计作为输入，并通过物理轨迹优化得出一个符合物理规律的运动。实验结果显示，相较于纯运动学方法，该方法能够显著地提高动作的真实性和准确性。

Jul, 2020

从 RGB 视频中构建 3D 人物 - 物体关系：方法和挑战的实证分析

研究了从 RGB 视频中重建人与关节物体交互的 3D 姿态，通过系统性实验验证了五种方法的可行性，结果显示这一任务具有很大挑战性并提出了未来工作方向。

Sep, 2022

基于物理学的轨迹优化算法，从单目视频重建 3D 人体姿态

本研究利用物理引擎对姿态估计过程进行改进，从而使得我们可以利用现实世界的场景推导出物体的运动。我们的公式具有广泛的应用场景，并可处理自身接触和与场景几何之间的接触。我们的方法在 Human3.6M 和 AIST 基准测试中均获得了与现有基于物理的方法相竞争的结果，同时不需要重新训练。

May, 2022

基于虚拟相机的自由移动物体重建与姿态估计

我们提出了一种从单目 RGB 视频中重建自由移动物体的方法，无需任何先验信息，通过基于隐式神经表示同时优化对象的形状和姿态，其中方法的关键是一个虚拟摄像机系统，显著减小了优化的搜索空间。通过在 HO3D 数据集和佩戴在头部设备上捕获的主观 RGB 序列上的评估，我们证明了该方法明显优于大多数方法，并且与假设先验信息的最新技术相媲美。

May, 2024

基于物理的视频人体运动估计和合成

通过单眼 RGB 视频直接训练具有物理可行性的人体运动的生成模型，该方法通过可微分的方式实现了物理约束和接触关系优化，并实现了与之前基于姿态识别的方法相比更高质量、更真实、更多样化的运动合成与估计。

Sep, 2021

手中单目 RGB 视频的三维物体重建

本文提出一种新方法，通过引入 2D 遮挡澄清和物理接触约束，从而处理遮挡下的表面重建问题，该方法在测试集上表现优于现有方法，HO3D 效果提高了 52%，HOD 效果提高了 20%。

Dec, 2023

基于单目视觉的重力感知人物 - 物体三维重建

本文提出 GraviCap，即一种新的联合无标记 3D 人体动作捕捉和单目 RGB 视频对象轨迹估计的方法。该方法利用重力约束物体运动，可以恢复具有部分观测对象的场景的尺度、对象轨迹、人体骨长和地平面方向。通过添加人对象交互约束，可以提高 3D 重建的几何一致性和改善人体姿势的物理合理性。在一系列新数据集上测试表明，该方法在 3D 人体动作捕捉上具有最先进的准确性。

Aug, 2021

使用单个 RGB 相机进行可见性感知的人体 - 物体交互追踪

该研究提出了一种基于神经网络和 SMPL 模型的新方法，用于通过一个单一的 RGB 摄像机跟踪三维人体、物体及其相对位移，且能够在强遮挡情况下保持稳健性。

Mar, 2023

从视频中学习三维人体动力学

通过观察人类运动的视觉序列，我们可以轻松猜测人在过去和未来的 3D 运动。我们提出了一个可以学习人类 3D 动力学表示的框架，通过简单而有效的图像特征时间编码。在测试过程中，学习到的时空表示能够预测具有平稳性的 3D 网格。我们的模型可以从单个图像中恢复当前的 3D 网格以及它未来和过去的 3D 运动，同时也可以通过半监督学习从带有 2D 姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练，通过已有的 2D 姿态检测器得到伪基础真值 2D 姿态，证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。

Dec, 2018

从互联网视频中获取动作捕捉

该研究提出了一种基于优化框架的方法，可以从互联网视频中共同分析人类动作，以替代传统单一视角的运动捕捉方法并提高精度。

Aug, 2020