Jun, 2024

OfCaM: 通过无需优化的相机运动和尺度校准实现全局人体网格恢复

PDF
TL;DR通过直接校准未知的尺度因子，Optimization-free Camera Motion Scale Calibration (OfCaM) 提供了一种新的方法来实现准确的相机运动尺度校准，从而改进了全局人体运动估计任务，相较于基于优化方法，能降低全局人体运动误差 60% 且推理时间成本更低。
camera motion estimationslamoptimization-free camera motion scale calibrationhuman mesh recovery (hmr)global human motion estimation
发现论文，激发创造
  • 视频中的全球空间相机与人体重建的协同作用

    Synergistic Camera and Human Reconstruction (SynCHMR) combines visual SLAM and HMR to reconstruct camera trajectories, human meshes, and dense scene point clouds in metric scale and a common world frame.

    May, 2024

  • GLAMR：全局遮挡感知的动态相机人体网格恢复

    本篇文章提出了一种能够从单目录像中实现三维全局人体网格恢复的方法，该方法具有鲁棒性，即使在面临严重和长期的遮挡时，也可以跟踪人体；同时，该方法可以在动态相机下，构建出一致的全局人体网格，这一方法也被称为 “深度生成运动填充器”。

    Dec, 2021

  • W-HMR: 弱监督相机标定和方位校正下的人体网格恢复

    通过解耦全局身体恢复为相机校准、局部身体恢复和全局身体方向校正，我们的模型能够同时考虑相机坐标的准确性和世界坐标的合理性，在双坐标系中实现高质量的重建，尤其是在具有挑战性的场景中。

    Nov, 2023

  • 从野外视频中分离人类与摄像机运动

    本研究提出了一种从野外视频中重建全球人类轨迹的方法，该优化方法将相机和人类运动解耦，减少背景像素对推断 3D 人类运动的影响，使用数据驱动的先验信息来恢复全局人类轨迹。

    Feb, 2023

  • PC-HMR：从 2D 图像 / 视频中恢复 3D 人体网格的姿态校准

    本文提出了两种新颖的姿态校准框架，采用先进的 3D 姿态估计器和 HMR 序列或并行方式有效地校准人体网格，通过非刚性姿态变换，可以灵活地处理骨长变化以缓解校准后的网格中的误放置，并通过数据驱动学习和几何建模的通用和互补集成来实现，可用于各种图像 / 视频人体网格的恢复，其在多项基准测试中取得了最新的表现。

    Mar, 2021

  • BodySLAM: 联合相机定位、建图和人体运动跟踪

    本文报告了一种基于单目 - SLAM 系统的 BodySLAM，同时估计人体位置、形态、姿态、摄像机轨迹等参数，并且引入新的人体运动模型，提高估计结果的准确性。

    May, 2022

  • 使用准确的 3D 动作重建基于世界环境的人类

    通过使用运动捕捉数据将 2D 关键点序列提升到 3D，并将其与视频特征融合，WHAM 能够准确高效地从视频中重建 3D 人体动作，并利用摄像机角速度和人体运动估计了身体的全局轨迹，同时结合了一个联系感知的轨迹细化方法，使 WHAM 能够在不同情况下捕捉人体运动，如爬楼梯等。WHAM 在多个野外基准测试中优于所有现有的 3D 人体运动恢复方法。

    Dec, 2023

  • 人体形状和姿势的端到端恢复

    本文提出了一种名为 HMR 的端到端框架，可从单个 RGB 图像恢复人体的完整 3D 网格，通过优化关键点的后投影损失来训练模型，并使用对抗神经网络解决了模型参数欠约束的问题，最终实现了在野外图像中直接从像素预测人体姿态和形状参数的目标。

    Dec, 2017

  • PACE：野外视频中人体和摄像机运动的估计

    通过结合人体运动先验知识和场景特征，提出了一种估计全局场景下人体运动的联合优化框架，该方法在人体和相机运动估计方面相较于现有方法有显著的改进。

    Oct, 2023

  • TRAM：来自野外视频的 3D 人体全局轨迹与运动

    我们提出了 TRAM 方法，一个两阶段的方法，从野外视频中重建人类的全局轨迹和运动。通过增强 SLAM 以在存在动态人类的情况下恢复相机运动，并利用场景背景来推导运动尺度。利用恢复的相机作为度量尺度参考帧，我们引入一个视频转换模型 (VIMO) 来回归人类的运动。通过组合这两个运动，我们实现了对世界空间中 3D 人体的准确恢复，相对于之前的工作，全局运动误差减少了 60%。

    Mar, 2024