卷积网格回归实现单张图片人体形状重建

CVPRMay, 2019

Convolutional Mesh Regression for Single-Image Human Shape Reconstruction

Nikos Kolotouros, Georgios Pavlakos, Kostas Daniilidis

TL;DR本文解决从单张图像中估计 3D 人体姿态和形状的问题，提出在保留 SMPL 模板网格拓扑的同时，使用 Graph-CNN 直接回归网格顶点的三维位置，与基于模型参数回归的可比较基线相比，我们的方法具有更好的效果。

Abstract

This paper addresses the problem of 3d human pose and shape estimation from a single image. Previous approaches consider a parametric model

发现论文，激发创造

该论文提出了一种基于卷积神经网络的直接预测方法，将参数化的统计全身形状模型与 2D 关键点和掩膜相结合，实现从单张彩色图像中估计全身的 3D 姿态和形状，得到了比先前基准更好的结果。

May, 2018

使用图卷积神经网络的三维人体姿态估计方法 Pose2Mesh 直接从二维人体姿势估计三维网格顶点坐标，避免出现影响训练数据的外部环境的干扰，并且在多个基准数据集上优于以往的方法。

Aug, 2020

提出一种新模型 HumanMeshNet，它在多分支、多任务设置下，通过回归模板网格的顶点以及使用三维骨架位置进行规则化，隐式地学习了网格表示，从而实现虚拟、增强现实平台、动画行业、电子商务领域等方面的实时重建，并在三个公开数据集上展示了可比较的表面精度和关节误差性能。

Aug, 2019

本文提出使用卷积神经网络进行端到端直接重建人类三维几何通过体积回归，无需拟合形状模型，能够从多种输入类型训练并处理姿态变化和细节重建。

Sep, 2018

本研究提出了一种基于 DeepCut 和 SMPL 模型的 3D 姿态估计方法，能够从单张无约束的图像中自动预测人体的姿态和形状，实现了对人体结构和运动的精确推断。

Jul, 2016

本文提出使用卷积神经网络和编码器 - 解码器神经网络从单张彩色图像中直接回归 3D 人体网格，利用高效的 3D 人体形状和姿势表示方法，在 Human3.6M、SURREAL 和 UP-3D 等多个 3D 人体数据集上实现了最新性能。

Mar, 2019

本文提出了一种基于图卷积神经网络的深度网格关系捕捉方法，结合形状完整性任务实现单张图像的 3D 人体形状重建，通过在网格节点之间的深度关系编码来解决预定义邻接矩阵的局限性，并通过形状完成任务来学习各种遮挡情况的先验知识减轻了性能退化问题。

Aug, 2021

本文提出了一种通过从单个深度图中回归网格模型顶点坐标来恢复手部密集 3D 表面的方法，使用两阶段 2D 完全卷积网络架构和可微分算子来实现，能够通过自我监督实现更好的效果，表现优异。

Jul, 2019

使用多视角图像建议一种可伸缩的神经网络框架来重建 SMPL 模型子空间中的人体 3D 网格，并在现实图像上表现优异，特别是在形状估计方面。

Aug, 2019

本文提出了一种基于简单的特征采样方案的 3D 人体网格重建方法，该方案利用嵌入空间中的点作为引导，有助于模型更集中地关注 2D 空间中的与网格相关性的特征，进而重建出自然的人体姿态，并且应用渐进的注意屏蔽机制来精确估计网格之间的局部交互。

Apr, 2023