基于 Transformer 的分离模态交叉注意力 3D 人体网格恢复

ECCVJul, 2022

基于 Transformer 的分离模态交叉注意力 3D 人体网格恢复

Cross-Attention of Disentangled Modalities for 3D Human Mesh Recovery with Transformers

Junhyeong Cho, Kim Youwang, Tae-Hyun Oh

TL;DR本文研究了 Transformer Encoder 在 3D 人类网格重建上的应用。提出了一种名为 FastMETRO 的新型 Transformer Encoder-Decoder 结构，对输入标记的复杂性进行了解耦，并通过注意掩码和网格上采样操作引入人体形态学关系的先验知识来提高其收敛速度和准确性。在 Human3.6M 和 3DPW 数据集上，和基于图像的方法相比明显更有效。

Abstract

transformer encoder architectures have recently achieved state-of-the-art results on monocular 3d human mesh reconstruction, but they require a substantial number of parameters and expensive computations. Due to

transformer encoder 3d human mesh reconstruction encoder-decoder architecture attention masking morphological relationship

发现论文，激发创造

使用 Transformer 进行端到端的人体姿势和网格重建

本研究提出了一种名为 MEsh TRansfOrmer（METRO）的新方法，该方法使用变压器编码器来同时建模顶点 - 顶点和顶点 - 关节交互，并从单个图像中输出 3D 关节坐标和网格顶点，其非依赖于任何参数化网格模型，可以轻松地扩展到其他对象，如手的 3D 重建。该方法在处理局部遮挡等具有挑战性情况方面更加鲁棒和有效，在公共数据集 Human3.6M 和 3DPW 上为人类网格重建生成了最新的最先进结果。此外，我们展示了 METRO 到野外 3D 手重建的泛化能力，在 FreiHAND 数据集上性能优于现有最先进方法。

Dec, 2020

全球相关 3D 解耦变压器用于服装化人物重建

使用全局相关的三维解耦 Transformer 模型来从单幅图像中重建着衣人体化身，实现了在复杂姿势和宽松服装情况下的高性能几何和纹理重建。

Sep, 2023

几何偏置变换器用于鲁棒的多视角 3D 人体姿势重建

通过提出一种新颖的编码器 - 解码器 Transformer 架构，结合多视角和时间信息、几何关系和 2D 姿态检测可信度，我们解决了估计多视图下遮挡和受限重叠视图的 3D 人体姿势的挑战。我们的实验表明该方法在传统三角定位方法的具有挑战性的遮挡场景和视图受限场景中表现出很好的效果。

Dec, 2023

PostoMETRO：姿态标记增强的网格变压器用于稳健的 3D 人体网格恢复

通过整合鲁棒性 2D 姿态表示，PostoMETRO（Pose token enhanced Mesh TRANSformer）在变压器模型中以令牌方式恢复 3D 坐标，从而提高单张图像人体网格恢复的性能，尤其在遮挡等极端场景下的准确性和清晰度。

Mar, 2024

多人网格恢复与 Transformers

通过一种面向整体图像的方法，我们提出了一种新的模型设计，其中包括多尺度特征融合、关注机制和相对关节监督，该模型在涉及多个人的各种基准测试中显示出显著的性能提升，超过了最先进的基于区域和基于整体图像的方法。

Feb, 2024

FeatER：基于特征映射的 TransformER 的高效人体重建网络

本论文提出了一种新的 transformer 设计，FeatER，可以在建模注意力时保持特征映射表示的固有结构，并减少内存和计算成本，在几个人类重建任务中有效增强了性能，包括 2D HPE、3D HPE 和 HMR 任务，并应用了特征映射重建模块来改进人体姿态和网格的估计表现。

May, 2022

POTTER：用于高效人体 Mesh 恢复的汇聚注意力 Transformer

本研究提出一种纯 Transformer 架构，命名为 POoling aTtention TransformER (POTTER)，可用于单张图像的 HMR 任务。通过改进池化注意力模块，结合高分辨率特征，POTTER 在减小计算和内存成本的同时，实现更准确的人类网格重建。

Mar, 2023

网格 Graphormer

本文提出一种名为 Mesh Graphormer 的图卷积强化 Transformer，可从单张图像中重建 3D 人体姿势和网格。实验结果表明，该方法在多个基准测试中显著优于先前的最先进方法。

Apr, 2021

JOTR：基于变形器的三维关节对比学习用于遮挡人体网格恢复

本研究针对单一图像中存在遮挡时的三维人体网格恢复问题，提出了一种融合 2D 和 3D 特征的 JOTR 框架以及一种新颖的 3D 关节对比学习方法，通过增加对 3D 特征空间的显式全局监督，显著改善了遮挡人体的重建效果。

Jul, 2023

通过骨架分解表示从单目图像中恢复人类网格

提出了一种骨架解耦的 3D 人体网格恢复方法，该方法利用自我注意力机制实现多级空间和时间粒度的分离建模，并通过无监督对抗训练策略以及临时混洗和顺序恢复，成功提高了人体网格恢复的精度。

Aug, 2019