Mar, 2024

WHAC: 世界凝视的人类与摄像机

PDF
TL;DR利用摄像头视频准确地估计人体和摄像头在世界坐标系中的轨迹是一个既希望实现又具有挑战性和没有确切解的问题。该研究旨在通过充分利用世界、人体和摄像头之间的协同作用，共同恢复富有表现力的参数化人体模型（即 SMPL-X）和相应的摄像头姿势，基于两个关键观察结果，即相机框架的 SMPL-X 估计方法可以方便地恢复人体的绝对深度，以及人体动作本质上提供绝对空间线索。通过整合这些洞察，我们引入了一种新的框架，称为 WHAC，以促进基于世界的富有表现力的人体姿势和形状估计，并且无需依赖传统的优化技术进行相机姿势估计。此外，我们还提供了一个新的合成数据集，WHAC-A-Mole，其中包括准确标注的人体和摄像头，并具有多样化的人体交互动作和逼真的摄像头轨迹。对标准和新建立的基准的广泛实验证明了我们框架的优越性和效果。我们将公开提供代码和数据集。
human trajectoriescamera trajectoriesexpressive parametric human modelscamera pose estimationsynthetic dataset
发现论文，激发创造
  • 使用准确的 3D 动作重建基于世界环境的人类

    通过使用运动捕捉数据将 2D 关键点序列提升到 3D，并将其与视频特征融合，WHAM 能够准确高效地从视频中重建 3D 人体动作，并利用摄像机角速度和人体运动估计了身体的全局轨迹，同时结合了一个联系感知的轨迹细化方法，使 WHAM 能够在不同情况下捕捉人体运动，如爬楼梯等。WHAM 在多个野外基准测试中优于所有现有的 3D 人体运动恢复方法。

    Dec, 2023

  • 从野外视频中分离人类与摄像机运动

    本研究提出了一种从野外视频中重建全球人类轨迹的方法，该优化方法将相机和人类运动解耦，减少背景像素对推断 3D 人类运动的影响，使用数据驱动的先验信息来恢复全局人类轨迹。

    Feb, 2023

  • 通过三维场景支撑从自我中心视频中捕获四维人体

    我们介绍了一种重建第二人称 3D 人体网格时间序列的新任务，并通过优化方法的应用解决了视角独特的自我中心视频人体捕捉的技术难题，从而比之前的单眼视频人体动作捕捉方法更准确地估计人体姿态和形状。

    Nov, 2020

  • 使用估计相机在野外识别人物

    SPEC 是第一个在野外图像中从单幅图像估计透视相机并更准确地重构 3D 人体的 3D 人体姿态和形状方法，SPEC 通过训练神经网络来估计视场角、相机俯仰角和滚转角，并将相机标定与图像特征连接起来，一起用于回归 3D 人体的形状和姿势，其结果在标准基准和两个新的数据集中表现比之前的艺术更加准确。

    Oct, 2021

  • PACE：野外视频中人体和摄像机运动的估计

    通过结合人体运动先验知识和场景特征，提出了一种估计全局场景下人体运动的联合优化框架，该方法在人体和相机运动估计方面相较于现有方法有显著的改进。

    Oct, 2023

  • 视频中的全球空间相机与人体重建的协同作用

    Synergistic Camera and Human Reconstruction (SynCHMR) combines visual SLAM and HMR to reconstruct camera trajectories, human meshes, and dense scene point clouds in metric scale and a common world frame.

    May, 2024

  • 捕捉运动中的人类：从单目视频中估计时间关注的三维人体姿态和形状

    该研究提出了一种运动姿势和形状网络（MPS-Net）来有效地捕捉视频中的运动并从中估计准确的和时间连续的三维人体姿态和形状。MPS-Net 利用运动连续性注意力（MoCA）模块和分层注意特征融合（HAFI）模块以提高运动姿势的精度并使用更少的网络参数。

    Mar, 2022

  • 利用时间上下文对野外三维人体姿态估计进行改进

    该研究通过基于束调整的算法从单眼视频中恢复准确的 3D 人体姿势和网格，通过在整个序列上重建人体来提供额外的约束并解决歧义问题。同时，该研究提出了一个包含超过 3 百万帧来自 Kinetics 的 YouTube 视频数据集，能够提高 3D 运动估计的准确性，该算法具有实际意义。

    May, 2019

  • 针对视觉环境重建的人类感知物体放置

    通过利用人与场景的交互可有效提高单目视频的 3D 场景重建，同时优化人的姿态估计，本论文基于三种 HSI 约束条件，即深度排序、是否穿插目标、接触面，使用优化方法再形成一致、物理合理且功能性 3D 场景布局，并对其在 PROX 和 PiGraphs 数据集上进行定量定性评估。

    Mar, 2022

  • 基于物理学的轨迹优化算法，从单目视频重建 3D 人体姿态

    本研究利用物理引擎对姿态估计过程进行改进，从而使得我们可以利用现实世界的场景推导出物体的运动。我们的公式具有广泛的应用场景，并可处理自身接触和与场景几何之间的接触。我们的方法在 Human3.6M 和 AIST 基准测试中均获得了与现有基于物理的方法相竞争的结果，同时不需要重新训练。

    May, 2022