CVPRDec, 2017

人体形状和姿势的端到端恢复

PDF
TL;DR本文提出了一种名为 HMR 的端到端框架，可从单个 RGB 图像恢复人体的完整 3D 网格，通过优化关键点的后投影损失来训练模型，并使用对抗神经网络解决了模型参数欠约束的问题，最终实现了在野外图像中直接从像素预测人体姿态和形状参数的目标。
human mesh recovery3d mesh reconstructionimage analysisin-the-wild imagespose and shape parameters
发现论文，激发创造
  • 从单目 RGB 图像恢复端到端的手部网格

    本文提出了 HAnd Mesh Recovery (HAMR) 框架，通过参数化通用 3D 手模型的形状和相对 3D 关节角度，提供了更多表达和更有用的网格表示，该框架可从单个 RGB 图像重建人手的完整 3D 网格，并具有较好的表现。

    Feb, 2019

  • PC-HMR：从 2D 图像 / 视频中恢复 3D 人体网格的姿态校准

    本文提出了两种新颖的姿态校准框架，采用先进的 3D 姿态估计器和 HMR 序列或并行方式有效地校准人体网格，通过非刚性姿态变换，可以灵活地处理骨长变化以缓解校准后的网格中的误放置，并通过数据驱动学习和几何建模的通用和互补集成来实现，可用于各种图像 / 视频人体网格的恢复，其在多项基准测试中取得了最新的表现。

    Mar, 2021

  • 多人全身人体网格恢复单次拍摄

    提出了 Multi-HMR，这是一个强大的单次拍摄模型，可以从单个 RGB 图像中恢复多人的 3D 人体网格。

    Feb, 2024

  • MeshPose：将 DensePose 和三维身体网格重建统一

    DensePose 提供了图像与 3D 网格坐标的像素精确关联，而 Human Mesh Reconstruction（HMR）系统在 DensePose 定位度量中具有较高的 2D 重新投影误差。本文介绍了 MeshPose 并共同解决了 DensePose 和 HMR 问题。通过引入新的损失函数，我们使用弱 DensePose 监督准确定位部分网格顶点（'VertexPose'），然后将这些顶点提升到 3D，得到低多边形身体网格（'MeshPose'）。我们的系统以端到端方式进行训练，是第一个在保持竞争力的 DensePose 准确性的同时，也是轻量级且适用于高效推断的 HMR 方法，因此非常适合实时增强现实应用。

    Jun, 2024

  • 使用姿态和形状的一致性从未见过的视角恢复隐式的三维人体网格

    通过神经特征场可以隐含模拟出人类在 3D 空间中的姿态和形状，从而提出了隐式三维人体网格恢复 (ImpHMR) 方法，并通过 Consistency and Self-supervised 的学习方式实现了姿态和形状参数的预测。

    Jun, 2023

  • 分布和深度感知变换器用于三维人体网格恢复

    通过采用转换器的端到端架构，利用分布和场景深度信息，实现了精确人体网格还原技术，并在处理无监督数据的某些场景下表现出优越性能，同时在受控数据集上与最先进的 HMR 方法保持竞争力。

    Mar, 2024

  • 在 4D 中重建和跟踪人类的 Transformers 技术

    本文介绍了一种通过 4DHumans 方法从单眼视频中追踪和重建人体动作的技术，通过 transformerized 版本的 HMR 2.0 网络实现人体重建，使用 3D 重建作为输入在 3D 跟踪系统中进行多人追踪并通过深度学习算法实现姿态和动作的识别。

    May, 2023

  • W-HMR: 弱监督相机标定和方位校正下的人体网格恢复

    通过解耦全局身体恢复为相机校准、局部身体恢复和全局身体方向校正，我们的模型能够同时考虑相机坐标的准确性和世界坐标的合理性，在双坐标系中实现高质量的重建，尤其是在具有挑战性的场景中。

    Nov, 2023

  • 分层运动学人类网格恢复

    提出了一种基于已知层次结构的人体参数化模型回归新技术，旨在更加灵活应用于当前标准的三维人体网格恢复框架，并通过实验数据证明其性能优于现有方法，能在数据损坏下推断关节。

    Mar, 2020

  • 从任意多视角图像中恢复人体网格

    从任意多视角图像中恢复人体网格涉及两个特点：任意的相机姿态和任意数量的相机视图。为了解决这个问题，我们提出了一个分治框架，用于从任意多视角图像中统一恢复人体网格。

    Mar, 2024