Mar, 2023

GATOR: 面向图形的变形器和运动解耦回归的人体网格恢复从 2D 姿势

PDF
TL;DR研究提出了一种名为 GATOR 的新颖方法，其中包含了一个 AGT 编码器和一个具有 MDR 的解码器，以同时探索骨架到网格的多个关系，包括关节 - 关节、关节 - 顶点和顶点 - 顶点关系，并在顶点偏移场的聚类特征的基础上推断出顶点。
3d human mesh recoverygraph-aware transformermotion-disentangled regressionjoint-joint relationsvertex-vertex interactions
发现论文，激发创造
  • 网格 Graphormer

    本文提出一种名为 Mesh Graphormer 的图卷积强化 Transformer，可从单张图像中重建 3D 人体姿势和网格。实验结果表明，该方法在多个基准测试中显著优于先前的最先进方法。

    Apr, 2021

  • 一个轻量级的图变换网络用于从 2D 人体姿势重建人体网格

    本文提出了一种基于姿势的轻量级方法 GTRS，它可以从 2D 人类姿态重构人类网格。该方法利用图变换器来提取结构化和隐式的关节相关性以及网格模板来重构人类网格，从而大大提高了模型的效率和泛化性能。在 Human3.6M 和 3DPW 数据集上进行广泛的评估，GTRS 方法在仅使用 10.2％ 的参数和 2.5％ 的 FLOPs 的同时，比 SOTA 基于姿态的 Pose2Mesh 方法实现了更好的准确性。

    Nov, 2021

  • MotionAGFormer: 基于 Transformer-GCNFormer 网络的 3D 人体姿势估计增强

    我们提出了一种新颖的 Attention-GCNFormer（AGFormer）模块，通过使用两个并行的 Transformer 和 GCNFormer 流来减少通道数，以精确捕捉邻接关节之间的局部依赖关系。通过以适应性方式融合这两种表示，AGFormer 模块在学习底层 3D 结构方面表现出更好的能力。通过堆叠多个 AGFormer 模块，我们提出了四个不同变体的 MotionAGFormer 模型，可以根据速度 - 准确性的权衡来选择。我们在两个常用基准数据集 Human3.6M 和 MPI-INF-3DHP 上评估了我们的模型。MotionAGFormer-B 取得了最先进的结果，分别为 38.4mm 和 16.2mm 的 P1 错误率。值得注意的是，与 Human3.6M 数据集上的前一最先进模型相比，它使用了四分之一的参数，并且计算效率提高了三倍。该模型的代码和模型可在指定的网址上获得。

    Oct, 2023

  • 使用 Transformer 进行端到端的人体姿势和网格重建

    本研究提出了一种名为 MEsh TRansfOrmer（METRO）的新方法，该方法使用变压器编码器来同时建模顶点 - 顶点和顶点 - 关节交互，并从单个图像中输出 3D 关节坐标和网格顶点，其非依赖于任何参数化网格模型，可以轻松地扩展到其他对象，如手的 3D 重建。该方法在处理局部遮挡等具有挑战性情况方面更加鲁棒和有效，在公共数据集 Human3.6M 和 3DPW 上为人类网格重建生成了最新的最先进结果。此外，我们展示了 METRO 到野外 3D 手重建的泛化能力，在 FreiHAND 数据集上性能优于现有最先进方法。

    Dec, 2020

  • 用于从 2D 人体姿态估计中获得人体姿态和形状的模块化多阶段轻量级图转换网络

    本文提出了一种基于图表的变形网络，实现了从二维人体姿态到三维人体姿态的估计和到三维人体网格参数的回归。该方法在保证精度的同时，优化了计算效率，具有广泛的实际应用价值。

    Jan, 2023

  • 3Mformer：多阶多模态 Transformer 用于骨骼动作识别

    该研究提出了一种使用超图模型的多阶多模态转换器来识别骨骼动作，并包括更高级别的运动模式及可训练的网络，在骨骼活动识别中优于 GCN、transformer 和超图等现有模型。

    Mar, 2023

  • DC-GNet：用于 3D 人体形状重建的深度网格关系捕获图卷积网络

    本文提出了一种基于图卷积神经网络的深度网格关系捕捉方法，结合形状完整性任务实现单张图像的 3D 人体形状重建，通过在网格节点之间的深度关系编码来解决预定义邻接矩阵的局限性，并通过形状完成任务来学习各种遮挡情况的先验知识减轻了性能退化问题。

    Aug, 2021

  • 基于空间和时间变换器网络的基于骨架的动作识别

    本文提出了一种基于 Spatial-Temporal Transformer 网络的骨骼姿态行为识别方法，使用自注意力机制成功提取了骨骼运动及其相关性的信息，与其他同类算法相比在多个大规模数据集上表现出更好的精度。

    Aug, 2020

  • PoseGPT：基于量化的三维人体动作生成和预测

    提出了一种基于 PoseGPT 的自回归变换器的方法，该方法可以生成人体运动序列，利用离散的潜在空间使 GPT-like 模型集中于长程信号预测，获得了在几个数据集上实现最先进的结果。

    Oct, 2022

  • 以关注动作协调为中心的更真实的人体动作预测

    通过学习 motion 的空时特征来构建全局 motion 特征的中介物称为协调吸引子 (Coordination Attractor, CA)，进而用于构建新的相对关节关系。通过 CA，可以同时关联所有关节，从而更好地学习所有关节的协调运动。基于此，我们进一步提出了一种新的联合关节关系建模模块，称为综合关节关系提取器 (Comprehensive Joint Relation Extractor, CJRE)，以统一的方式将该协调关系与关节对之间的局部相互作用结合起来。此外，我们还提出了一种多时间尺度动力学提取器 (Multi-timescale Dynamics Extractor, MTDE)，以从原始位置信息中提取丰富的动力学信息，用于有效的预测。大量实验证明，所提出的框架在 H3.6M、CMU-Mocap 和 3DPW 的短期和长期预测中均优于现有方法。

    Apr, 2024