CVPRMay, 2024

视频中的全球空间相机与人体重建的协同作用

PDF
TL;DRSynergistic Camera and Human Reconstruction (SynCHMR) combines visual SLAM and HMR to reconstruct camera trajectories, human meshes, and dense scene point clouds in metric scale and a common world frame.
visual slamhmrcamera and human reconstructionmetric scalescene point clouds
发现论文，激发创造
  • W-HMR: 弱监督相机标定和方位校正下的人体网格恢复

    通过解耦全局身体恢复为相机校准、局部身体恢复和全局身体方向校正，我们的模型能够同时考虑相机坐标的准确性和世界坐标的合理性，在双坐标系中实现高质量的重建，尤其是在具有挑战性的场景中。

    Nov, 2023

  • PC-HMR：从 2D 图像 / 视频中恢复 3D 人体网格的姿态校准

    本文提出了两种新颖的姿态校准框架，采用先进的 3D 姿态估计器和 HMR 序列或并行方式有效地校准人体网格，通过非刚性姿态变换，可以灵活地处理骨长变化以缓解校准后的网格中的误放置，并通过数据驱动学习和几何建模的通用和互补集成来实现，可用于各种图像 / 视频人体网格的恢复，其在多项基准测试中取得了最新的表现。

    Mar, 2021

  • OfCaM: 通过无需优化的相机运动和尺度校准实现全局人体网格恢复

    通过直接校准未知的尺度因子，Optimization-free Camera Motion Scale Calibration (OfCaM) 提供了一种新的方法来实现准确的相机运动尺度校准，从而改进了全局人体运动估计任务，相较于基于优化方法，能降低全局人体运动误差 60% 且推理时间成本更低。

    Jun, 2024

  • 人体形状和姿势的端到端恢复

    本文提出了一种名为 HMR 的端到端框架，可从单个 RGB 图像恢复人体的完整 3D 网格，通过优化关键点的后投影损失来训练模型，并使用对抗神经网络解决了模型参数欠约束的问题，最终实现了在野外图像中直接从像素预测人体姿态和形状参数的目标。

    Dec, 2017

  • 多人全身人体网格恢复单次拍摄

    提出了 Multi-HMR，这是一个强大的单次拍摄模型，可以从单个 RGB 图像中恢复多人的 3D 人体网格。

    Feb, 2024

  • 从野外视频中分离人类与摄像机运动

    本研究提出了一种从野外视频中重建全球人类轨迹的方法，该优化方法将相机和人类运动解耦，减少背景像素对推断 3D 人类运动的影响，使用数据驱动的先验信息来恢复全局人类轨迹。

    Feb, 2023

  • 在 4D 中重建和跟踪人类的 Transformers 技术

    本文介绍了一种通过 4DHumans 方法从单眼视频中追踪和重建人体动作的技术，通过 transformerized 版本的 HMR 2.0 网络实现人体重建，使用 3D 重建作为输入在 3D 跟踪系统中进行多人追踪并通过深度学习算法实现姿态和动作的识别。

    May, 2023

  • WHAC: 世界凝视的人类与摄像机

    利用摄像头视频准确地估计人体和摄像头在世界坐标系中的轨迹是一个既希望实现又具有挑战性和没有确切解的问题。该研究旨在通过充分利用世界、人体和摄像头之间的协同作用，共同恢复富有表现力的参数化人体模型（即 SMPL-X）和相应的摄像头姿势，基于两个关键观察结果，即相机框架的 SMPL-X 估计方法可以方便地恢复人体的绝对深度，以及人体动作本质上提供绝对空间线索。通过整合这些洞察，我们引入了一种新的框架，称为 WHAC，以促进基于世界的富有表现力的人体姿势和形状估计，并且无需依赖传统的优化技术进行相机姿势估计。此外，我们还提供了一个新的合成数据集，WHAC-A-Mole，其中包括准确标注的人体和摄像头，并具有多样化的人体交互动作和逼真的摄像头轨迹。对标准和新建立的基准的广泛实验证明了我们框架的优越性和效果。我们将公开提供代码和数据集。

    Mar, 2024

  • 在一张图像中使用对比学习和相机一致性进行多人体网格恢复

    本研究通过引入多裁剪方法，结合对裁剪间关系的分析以提取判别特征、减少相机不确定性，并利用对相同人体多裁剪的对比学习、特征融合和局部相机一致性等策略，改进了以往的单图像人体网格恢复方法。

    Feb, 2024

  • 从任意多视角图像中恢复人体网格

    从任意多视角图像中恢复人体网格涉及两个特点：任意的相机姿态和任意数量的相机视图。为了解决这个问题，我们提出了一个分治框架，用于从任意多视角图像中统一恢复人体网格。

    Mar, 2024