使用 Transformer 进行端到端的人体姿势和网格重建

CVPRDec, 2020

使用 Transformer 进行端到端的人体姿势和网格重建

End-to-End Human Pose and Mesh Reconstruction with Transformers

Kevin Lin, Lijuan Wang, Zicheng Liu

TL;DR本研究提出了一种名为 MEsh TRansfOrmer（METRO）的新方法，该方法使用变压器编码器来同时建模顶点 - 顶点和顶点 - 关节交互，并从单个图像中输出 3D 关节坐标和网格顶点，其非依赖于任何参数化网格模型，可以轻松地扩展到其他对象，如手的 3D 重建。该方法在处理局部遮挡等具有挑战性情况方面更加鲁棒和有效，在公共数据集 Human3.6M 和 3DPW 上为人类网格重建生成了最新的最先进结果。此外，我们展示了 METRO 到野外 3D 手重建的泛化能力，在 FreiHAND 数据集上性能优于现有最先进方法。

Abstract

We present a new method, called mesh transformer (METRO), to reconstruct 3D human pose and mesh vertices from a single image. Our method uses a transformer encoder to jointly model vertex-vertex and vertex-joint

mesh transformer 3d human pose mesh vertices transformer encoder 3d hand reconstruction

发现论文，激发创造

基于 Transformer 的分离模态交叉注意力 3D 人体网格恢复

本文研究了 Transformer Encoder 在 3D 人类网格重建上的应用。提出了一种名为 FastMETRO 的新型 Transformer Encoder-Decoder 结构，对输入标记的复杂性进行了解耦，并通过注意掩码和网格上采样操作引入人体形态学关系的先验知识来提高其收敛速度和准确性。在 Human3.6M 和 3DPW 数据集上，和基于图像的方法相比明显更有效。

Jul, 2022

PostoMETRO：姿态标记增强的网格变压器用于稳健的 3D 人体网格恢复

通过整合鲁棒性 2D 姿态表示，PostoMETRO（Pose token enhanced Mesh TRANSformer）在变压器模型中以令牌方式恢复 3D 坐标，从而提高单张图像人体网格恢复的性能，尤其在遮挡等极端场景下的准确性和清晰度。

Mar, 2024

网格 Graphormer

本文提出一种名为 Mesh Graphormer 的图卷积强化 Transformer，可从单张图像中重建 3D 人体姿势和网格。实验结果表明，该方法在多个基准测试中显著优于先前的最先进方法。

Apr, 2021

一个轻量级的图变换网络用于从 2D 人体姿势重建人体网格

本文提出了一种基于姿势的轻量级方法 GTRS，它可以从 2D 人类姿态重构人类网格。该方法利用图变换器来提取结构化和隐式的关节相关性以及网格模板来重构人类网格，从而大大提高了模型的效率和泛化性能。在 Human3.6M 和 3DPW 数据集上进行广泛的评估，GTRS 方法在仅使用 10.2％的参数和 2.5％的 FLOPs 的同时，比 SOTA 基于姿态的 Pose2Mesh 方法实现了更好的准确性。

Nov, 2021

用于从 2D 人体姿态估计中获得人体姿态和形状的模块化多阶段轻量级图转换网络

本文提出了一种基于图表的变形网络，实现了从二维人体姿态到三维人体姿态的估计和到三维人体网格参数的回归。该方法在保证精度的同时，优化了计算效率，具有广泛的实际应用价值。

Jan, 2023

利用 Transformers 進行三維手部重建

从单眼输入中重建 3D 手部，利用基于 Transformer 的 HaMeR 方法，通过大规模数据训练和深度网络容量的扩展，对手部进行精确且鲁棒性增强的分析，并在流行的 3D 手部姿势基准测试中始终优于先前基准线。

Dec, 2023

FeatER：基于特征映射的 TransformER 的高效人体重建网络

本论文提出了一种新的 transformer 设计，FeatER，可以在建模注意力时保持特征映射表示的固有结构，并减少内存和计算成本，在几个人类重建任务中有效增强了性能，包括 2D HPE、3D HPE 和 HMR 任务，并应用了特征映射重建模块来改进人体姿态和网格的估计表现。

May, 2022

Skeleton Transformer Networks：从单张 RGB 图像提取 3D 人体姿态和皮肤网格

该研究提出了一种名为 Skeleton Transformer Networks 的网络框架，可以通过单张彩色图像预测出人体骨架的 3D 关节点位置和 3D 角度姿态，并从而生成蒙皮网格动画。该框架采用两步回归方法进行骨骼旋转预测，其中第一步通过考虑骨架结构回归骨骼旋转以获得初始解，第二步则基于被称为交叉热图的三维姿态表示采用热图回归器进行精细化调整。实验表明，使用该框架训练的 3D 人体姿势数据集可以在野外环境下通过单张图像准确预测出人体的 3D 姿态。

Dec, 2018

在 4D 中重建和跟踪人类的 Transformers 技术

本文介绍了一种通过 4DHumans 方法从单眼视频中追踪和重建人体动作的技术，通过 transformerized 版本的 HMR 2.0 网络实现人体重建，使用 3D 重建作为输入在 3D 跟踪系统中进行多人追踪并通过深度学习算法实现姿态和动作的识别。

May, 2023

几何偏置变换器用于鲁棒的多视角 3D 人体姿势重建

通过提出一种新颖的编码器 - 解码器 Transformer 架构，结合多视角和时间信息、几何关系和 2D 姿态检测可信度，我们解决了估计多视图下遮挡和受限重叠视图的 3D 人体姿势的挑战。我们的实验表明该方法在传统三角定位方法的具有挑战性的遮挡场景和视图受限场景中表现出很好的效果。

Dec, 2023