CVPRJun, 2024

MeshPose：将 DensePose 和三维身体网格重建统一

PDF
TL;DRDensePose 提供了图像与 3D 网格坐标的像素精确关联，而 Human Mesh Reconstruction（HMR）系统在 DensePose 定位度量中具有较高的 2D 重新投影误差。本文介绍了 MeshPose 并共同解决了 DensePose 和 HMR 问题。通过引入新的损失函数，我们使用弱 DensePose 监督准确定位部分网格顶点（'VertexPose'），然后将这些顶点提升到 3D，得到低多边形身体网格（'MeshPose'）。我们的系统以端到端方式进行训练，是第一个在保持竞争力的 DensePose 准确性的同时，也是轻量级且适用于高效推断的 HMR 方法，因此非常适合实时增强现实应用。
发现论文，激发创造
  • 人体形状和姿势的端到端恢复

    本文提出了一种名为 HMR 的端到端框架，可从单个 RGB 图像恢复人体的完整 3D 网格，通过优化关键点的后投影损失来训练模型，并使用对抗神经网络解决了模型参数欠约束的问题，最终实现了在野外图像中直接从像素预测人体姿态和形状参数的目标。

    Dec, 2017

  • PC-HMR：从 2D 图像 / 视频中恢复 3D 人体网格的姿态校准

    本文提出了两种新颖的姿态校准框架，采用先进的 3D 姿态估计器和 HMR 序列或并行方式有效地校准人体网格，通过非刚性姿态变换，可以灵活地处理骨长变化以缓解校准后的网格中的误放置，并通过数据驱动学习和几何建模的通用和互补集成来实现，可用于各种图像 / 视频人体网格的恢复，其在多项基准测试中取得了最新的表现。

    Mar, 2021

  • Pose2Mesh: 从二维人体姿势恢复三维人体姿势和网格的图卷积网络

    使用图卷积神经网络的三维人体姿态估计方法 Pose2Mesh 直接从二维人体姿势估计三维网格顶点坐标，避免出现影响训练数据的外部环境的干扰，并且在多个基准数据集上优于以往的方法。

    Aug, 2020

  • 分布和深度感知变换器用于三维人体网格恢复

    通过采用转换器的端到端架构，利用分布和场景深度信息，实现了精确人体网格还原技术，并在处理无监督数据的某些场景下表现出优越性能，同时在受控数据集上与最先进的 HMR 方法保持竞争力。

    Mar, 2024

  • LiDAR-HMR: LiDAR 中的 3D 人体网格恢复

    本文首次尝试从稀疏的 LiDAR 点云中估计 3D 人体网格，提出了一种有效的稀疏到稠密重建方案，并通过引入图形变换器来更好地利用点云的 3D 结构信息，实验证明了该方法的有效性。

    Nov, 2023

  • 使用姿态和形状的一致性从未见过的视角恢复隐式的三维人体网格

    通过神经特征场可以隐含模拟出人类在 3D 空间中的姿态和形状，从而提出了隐式三维人体网格恢复 (ImpHMR) 方法，并通过 Consistency and Self-supervised 的学习方式实现了姿态和形状参数的预测。

    Jun, 2023

  • DensePose 3D：将关节物体的规范表面贴图提升到第三个维度

    本文提出了一种名为 DensePose 3D 的方法，通过弱监督机器学习从二维图像注释中实现基于单目视觉的带关节物体（例如人和动物）的三维重建，同时通过利用 Laplace-Beltrami 算子的平滑特征函数将物体分解成部分，再预测它们的运动以在 2D DensePose-like 表面注释中正确地重影，与基于非刚性结构运动的最新基线方法相比，在合成和真实数据上对人和动物进行了显著改进。

    Aug, 2021

  • 从密集身体部位学习 3D 人体形状和姿势

    本文提出了一种从稠密对应的人体部位进行学习的方法，通过构建 2D 像素与 3D 顶点之间的桥梁，提出了解决非线性、位移等问题的 Decompose-and-Aggregate 网络（DaNet），并给出了一种利用空间关系的位置辅助旋转特征细化策略来提高鲁棒性的姿态预测策略，发现该方法显著提高了重建性能。

    Dec, 2019

  • 从视频中估计 3D 人体姿态和网格的共同演化

    提出了一种 Pose and Mesh Co-Evolution 网络（PMCE），通过将任务分解为视频中基于 3D 人体姿势估计和来自估计的 3D 姿势和时间图像特征的网格顶点回归，解决了从视频中准确、平滑地恢复 3D 人体运动的问题。实验证明，该方法在三个基准数据集（3DPW、Human3.6M 和 MPI-INF-3DHP）上在逐帧准确度和时间一致性方面优于先前的最先进方法。

    Aug, 2023

  • UltraPose: 使用人体解耦 3D 模型合成 10 亿点密集姿态

    通过构建一个新的人体三维模型和数据生成系统，我们构建了一个超高密度的合成数据集 UltraPose，包含大约 13 亿个对应点。与手动注释的现有 DensePose-COCO 数据集相比，我们的 UltraPose 具有超高密度的图像到表面对应关系，具有良好的高复现性和低成本。

    Oct, 2021