用于从 2D 人体姿态估计中获得人体姿态和形状的模块化多阶段轻量级图转换网络

Jan, 2023

用于从 2D 人体姿态估计中获得人体姿态和形状的模块化多阶段轻量级图转换网络

A Modular Multi-stage Lightweight Graph Transformer Network for Human Pose and Shape Estimation from 2D Human Pose

Ayman Ali, Ekkasit Pinyoanuntapong, Pu Wang, Mohsen Dorodchi

TL;DR本文提出了一种基于图表的变形网络，实现了从二维人体姿态到三维人体姿态的估计和到三维人体网格参数的回归。该方法在保证精度的同时，优化了计算效率，具有广泛的实际应用价值。

Abstract

In this research, we address the challenge faced by existing deep learning-based human mesh reconstruction methods in balancing accuracy and computational efficiency. These methods typically prioritize accuracy,

deep learning human mesh reconstruction computational efficiency graph-based transformer network pose-based human mesh reconstruction

发现论文，激发创造

一个轻量级的图变换网络用于从 2D 人体姿势重建人体网格

本文提出了一种基于姿势的轻量级方法 GTRS，它可以从 2D 人类姿态重构人类网格。该方法利用图变换器来提取结构化和隐式的关节相关性以及网格模板来重构人类网格，从而大大提高了模型的效率和泛化性能。在 Human3.6M 和 3DPW 数据集上进行广泛的评估，GTRS 方法在仅使用 10.2％的参数和 2.5％的 FLOPs 的同时，比 SOTA 基于姿态的 Pose2Mesh 方法实现了更好的准确性。

Nov, 2021

多跳图变换网络用于 3D 人体姿势估计

介绍了一个用于视频中 2D 到 3D 人体姿势估计的多跳图变换网络，通过利用多头自注意力和多跳图卷积网络的优势以捕获时空依赖关系和处理远距离交互，提出了一个模型架构来实现准确的全局和局部依赖关系捕捉以及处理所需的空间细节，实验结果表明其有效性和泛化能力。

May, 2024

Pose2Mesh: 从二维人体姿势恢复三维人体姿势和网格的图卷积网络

使用图卷积神经网络的三维人体姿态估计方法 Pose2Mesh 直接从二维人体姿势估计三维网格顶点坐标，避免出现影响训练数据的外部环境的干扰，并且在多个基准数据集上优于以往的方法。

Aug, 2020

网格 Graphormer

本文提出一种名为 Mesh Graphormer 的图卷积强化 Transformer，可从单张图像中重建 3D 人体姿势和网格。实验结果表明，该方法在多个基准测试中显著优于先前的最先进方法。

Apr, 2021

多透视空时关系变换的精确 3D 人体姿势估计

我们提出了一个多阶段的 3D 序列到序列人体姿势检测框架，利用变压器的自注意力机制从多视角视频数据中捕捉空间 - 时间相关性，实验结果表明我们的方法在 Human3.6M 数据集上表现出色。

Jan, 2024

Skeleton Transformer Networks：从单张 RGB 图像提取 3D 人体姿态和皮肤网格

该研究提出了一种名为 Skeleton Transformer Networks 的网络框架，可以通过单张彩色图像预测出人体骨架的 3D 关节点位置和 3D 角度姿态，并从而生成蒙皮网格动画。该框架采用两步回归方法进行骨骼旋转预测，其中第一步通过考虑骨架结构回归骨骼旋转以获得初始解，第二步则基于被称为交叉热图的三维姿态表示采用热图回归器进行精细化调整。实验表明，使用该框架训练的 3D 人体姿势数据集可以在野外环境下通过单张图像准确预测出人体的 3D 姿态。

Dec, 2018

使用 Transformer 进行端到端的人体姿势和网格重建

本研究提出了一种名为 MEsh TRansfOrmer（METRO）的新方法，该方法使用变压器编码器来同时建模顶点 - 顶点和顶点 - 关节交互，并从单个图像中输出 3D 关节坐标和网格顶点，其非依赖于任何参数化网格模型，可以轻松地扩展到其他对象，如手的 3D 重建。该方法在处理局部遮挡等具有挑战性情况方面更加鲁棒和有效，在公共数据集 Human3.6M 和 3DPW 上为人类网格重建生成了最新的最先进结果。此外，我们展示了 METRO 到野外 3D 手重建的泛化能力，在 FreiHAND 数据集上性能优于现有最先进方法。

Dec, 2020

重新思考多级网络用于人体姿态估计

研究单阶段方法与多阶段方法在姿态估计领域的性能表现，提出了单阶段模块设计、跨阶段特征聚合和粗到细的监督等改进建议，所得方法在 MS COCO 和 MPII Human Pose 数据集上都取得了新的最优表现，证明了多阶段架构的有效性。

Jan, 2019

基于图像的多视角 3D 多人姿态估计

本文介绍了一种从多个校准相机视角估计多个人的 3D 姿势的方法，通过使用图神经网络以及特定任务的模块实现了高性能、低计算复杂度的结果。

Sep, 2021

PoseLifter：从单个嘈杂的 2D 人体姿势获取绝对 3D 人体姿势提升网络

提出一种新的网络 (PoseLifter)，可以将 2D 人体姿势提升为绝对 3D 姿势，并通过合成真实误差分布的 2D 姿势，应用于公共数据集，取得了最先进的 2D 到 3D 姿态提升和 3D 人体姿态估计结果。

Oct, 2019