AAAIMar, 2021

PC-HMR：从 2D 图像 / 视频中恢复 3D 人体网格的姿态校准

PDF
TL;DR本文提出了两种新颖的姿态校准框架，采用先进的 3D 姿态估计器和 HMR 序列或并行方式有效地校准人体网格，通过非刚性姿态变换，可以灵活地处理骨长变化以缓解校准后的网格中的误放置，并通过数据驱动学习和几何建模的通用和互补集成来实现，可用于各种图像 / 视频人体网格的恢复，其在多项基准测试中取得了最新的表现。
human mesh recovery3d pose calibrationdata-driven learninggeometrical modelingimage/video-based human mesh recovery
发现论文，激发创造
  • 人体形状和姿势的端到端恢复

    本文提出了一种名为 HMR 的端到端框架，可从单个 RGB 图像恢复人体的完整 3D 网格，通过优化关键点的后投影损失来训练模型，并使用对抗神经网络解决了模型参数欠约束的问题，最终实现了在野外图像中直接从像素预测人体姿态和形状参数的目标。

    Dec, 2017

  • MeshPose：将 DensePose 和三维身体网格重建统一

    DensePose 提供了图像与 3D 网格坐标的像素精确关联，而 Human Mesh Reconstruction（HMR）系统在 DensePose 定位度量中具有较高的 2D 重新投影误差。本文介绍了 MeshPose 并共同解决了 DensePose 和 HMR 问题。通过引入新的损失函数，我们使用弱 DensePose 监督准确定位部分网格顶点（'VertexPose'），然后将这些顶点提升到 3D，得到低多边形身体网格（'MeshPose'）。我们的系统以端到端方式进行训练，是第一个在保持竞争力的 DensePose 准确性的同时，也是轻量级且适用于高效推断的 HMR 方法，因此非常适合实时增强现实应用。

    Jun, 2024

  • W-HMR: 弱监督相机标定和方位校正下的人体网格恢复

    通过解耦全局身体恢复为相机校准、局部身体恢复和全局身体方向校正，我们的模型能够同时考虑相机坐标的准确性和世界坐标的合理性，在双坐标系中实现高质量的重建，尤其是在具有挑战性的场景中。

    Nov, 2023

  • 从任意多视角图像中恢复人体网格

    从任意多视角图像中恢复人体网格涉及两个特点：任意的相机姿态和任意数量的相机视图。为了解决这个问题，我们提出了一个分治框架，用于从任意多视角图像中统一恢复人体网格。

    Mar, 2024

  • 多人全身人体网格恢复单次拍摄

    提出了 Multi-HMR，这是一个强大的单次拍摄模型，可以从单个 RGB 图像中恢复多人的 3D 人体网格。

    Feb, 2024

  • 视频中的全球空间相机与人体重建的协同作用

    Synergistic Camera and Human Reconstruction (SynCHMR) combines visual SLAM and HMR to reconstruct camera trajectories, human meshes, and dense scene point clouds in metric scale and a common world frame.

    May, 2024

  • 使用姿态和形状的一致性从未见过的视角恢复隐式的三维人体网格

    通过神经特征场可以隐含模拟出人类在 3D 空间中的姿态和形状，从而提出了隐式三维人体网格恢复 (ImpHMR) 方法，并通过 Consistency and Self-supervised 的学习方式实现了姿态和形状参数的预测。

    Jun, 2023

  • 在 4D 中重建和跟踪人类的 Transformers 技术

    本文介绍了一种通过 4DHumans 方法从单眼视频中追踪和重建人体动作的技术，通过 transformerized 版本的 HMR 2.0 网络实现人体重建，使用 3D 重建作为输入在 3D 跟踪系统中进行多人追踪并通过深度学习算法实现姿态和动作的识别。

    May, 2023

  • 从单目 RGB 图像恢复端到端的手部网格

    本文提出了 HAnd Mesh Recovery (HAMR) 框架，通过参数化通用 3D 手模型的形状和相对 3D 关节角度，提供了更多表达和更有用的网格表示，该框架可从单个 RGB 图像重建人手的完整 3D 网格，并具有较好的表现。

    Feb, 2019

  • 从视频中估计 3D 人体姿态和网格的共同演化

    提出了一种 Pose and Mesh Co-Evolution 网络（PMCE），通过将任务分解为视频中基于 3D 人体姿势估计和来自估计的 3D 姿势和时间图像特征的网格顶点回归，解决了从视频中准确、平滑地恢复 3D 人体运动的问题。实验证明，该方法在三个基准数据集（3DPW、Human3.6M 和 MPI-INF-3DHP）上在逐帧准确度和时间一致性方面优于先前的最先进方法。

    Aug, 2023