一个轻量级的图变换网络用于从 2D 人体姿势重建人体网格

Nov, 2021

一个轻量级的图变换网络用于从 2D 人体姿势重建人体网格

A Lightweight Graph Transformer Network for Human Mesh Reconstruction from 2D Human Pose

Ce Zheng, Matias Mendieta, Pu Wang, Aidong Lu, Chen Chen

TL;DR本文提出了一种基于姿势的轻量级方法 GTRS，它可以从 2D 人类姿态重构人类网格。该方法利用图变换器来提取结构化和隐式的关节相关性以及网格模板来重构人类网格，从而大大提高了模型的效率和泛化性能。在 Human3.6M 和 3DPW 数据集上进行广泛的评估，GTRS 方法在仅使用 10.2％的参数和 2.5％的 FLOPs 的同时，比 SOTA 基于姿态的 Pose2Mesh 方法实现了更好的准确性。

Abstract

Existing deep learning-based human mesh reconstruction approaches have a tendency to build larger networks in order to achieve higher accuracy. Computational complexity and model size are often neglected, despite

deep learning human mesh reconstruction pose-based method graph transformers model efficiency

发现论文，激发创造

用于从 2D 人体姿态估计中获得人体姿态和形状的模块化多阶段轻量级图转换网络

本文提出了一种基于图表的变形网络，实现了从二维人体姿态到三维人体姿态的估计和到三维人体网格参数的回归。该方法在保证精度的同时，优化了计算效率，具有广泛的实际应用价值。

Jan, 2023

Pose2Mesh: 从二维人体姿势恢复三维人体姿势和网格的图卷积网络

使用图卷积神经网络的三维人体姿态估计方法 Pose2Mesh 直接从二维人体姿势估计三维网格顶点坐标，避免出现影响训练数据的外部环境的干扰，并且在多个基准数据集上优于以往的方法。

Aug, 2020

网格 Graphormer

本文提出一种名为 Mesh Graphormer 的图卷积强化 Transformer，可从单张图像中重建 3D 人体姿势和网格。实验结果表明，该方法在多个基准测试中显著优于先前的最先进方法。

Apr, 2021

使用 Transformer 进行端到端的人体姿势和网格重建

本研究提出了一种名为 MEsh TRansfOrmer（METRO）的新方法，该方法使用变压器编码器来同时建模顶点 - 顶点和顶点 - 关节交互，并从单个图像中输出 3D 关节坐标和网格顶点，其非依赖于任何参数化网格模型，可以轻松地扩展到其他对象，如手的 3D 重建。该方法在处理局部遮挡等具有挑战性情况方面更加鲁棒和有效，在公共数据集 Human3.6M 和 3DPW 上为人类网格重建生成了最新的最先进结果。此外，我们展示了 METRO 到野外 3D 手重建的泛化能力，在 FreiHAND 数据集上性能优于现有最先进方法。

Dec, 2020

多跳图变换网络用于 3D 人体姿势估计

介绍了一个用于视频中 2D 到 3D 人体姿势估计的多跳图变换网络，通过利用多头自注意力和多跳图卷积网络的优势以捕获时空依赖关系和处理远距离交互，提出了一个模型架构来实现准确的全局和局部依赖关系捕捉以及处理所需的空间细节，实验结果表明其有效性和泛化能力。

May, 2024

Skeleton Transformer Networks：从单张 RGB 图像提取 3D 人体姿态和皮肤网格

该研究提出了一种名为 Skeleton Transformer Networks 的网络框架，可以通过单张彩色图像预测出人体骨架的 3D 关节点位置和 3D 角度姿态，并从而生成蒙皮网格动画。该框架采用两步回归方法进行骨骼旋转预测，其中第一步通过考虑骨架结构回归骨骼旋转以获得初始解，第二步则基于被称为交叉热图的三维姿态表示采用热图回归器进行精细化调整。实验表明，使用该框架训练的 3D 人体姿势数据集可以在野外环境下通过单张图像准确预测出人体的 3D 姿态。

Dec, 2018

GATOR: 面向图形的变形器和运动解耦回归的人体网格恢复从 2D 姿势

研究提出了一种名为 GATOR 的新颖方法，其中包含了一个 AGT 编码器和一个具有 MDR 的解码器，以同时探索骨架到网格的多个关系，包括关节 - 关节、关节 - 顶点和顶点 - 顶点关系，并在顶点偏移场的聚类特征的基础上推断出顶点。

Mar, 2023

全局 - 局部自适应图卷积网络用于 3D 人体

通过使用全局本地自适应图卷积网络 (GLA-GCN) 并利用地面实况数据，作者针对 3D 人体姿势估计中的姿势抬升问题提出了一种简单而有效的模型设计，实验证明该设计在三个基准数据集上表现出了明显的优于现有方法的效果。

Jul, 2023

学习骨架图神经网络用于艰难的 3D 姿态估计

本研究提出了一种新的骨骼 GNN 学习解决方案，包括基于跳舞的分层通道压缩融合层和鲁棒且有效的图构建过程，该方法在人体姿态估计和基于骨骼的动作识别方面取得了超越同行的性能.

Aug, 2021

DC-GNet：用于 3D 人体形状重建的深度网格关系捕获图卷积网络

本文提出了一种基于图卷积神经网络的深度网格关系捕捉方法，结合形状完整性任务实现单张图像的 3D 人体形状重建，通过在网格节点之间的深度关系编码来解决预定义邻接矩阵的局限性，并通过形状完成任务来学习各种遮挡情况的先验知识减轻了性能退化问题。

Aug, 2021