网格 Graphormer
本研究提出了一种名为 MEsh TRansfOrmer(METRO)的新方法,该方法使用变压器编码器来同时建模顶点 - 顶点和顶点 - 关节交互,并从单个图像中输出 3D 关节坐标和网格顶点,其非依赖于任何参数化网格模型,可以轻松地扩展到其他对象,如手的 3D 重建。该方法在处理局部遮挡等具有挑战性情况方面更加鲁棒和有效,在公共数据集 Human3.6M 和 3DPW 上为人类网格重建生成了最新的最先进结果。此外,我们展示了 METRO 到野外 3D 手重建的泛化能力,在 FreiHAND 数据集上性能优于现有最先进方法。
Dec, 2020
本文提出了一种基于姿势的轻量级方法 GTRS,它可以从 2D 人类姿态重构人类网格。该方法利用图变换器来提取结构化和隐式的关节相关性以及网格模板来重构人类网格,从而大大提高了模型的效率和泛化性能。在 Human3.6M 和 3DPW 数据集上进行广泛的评估,GTRS 方法在仅使用 10.2% 的参数和 2.5% 的 FLOPs 的同时,比 SOTA 基于姿态的 Pose2Mesh 方法实现了更好的准确性。
Nov, 2021
本文提出了一种基于图表的变形网络,实现了从二维人体姿态到三维人体姿态的估计和到三维人体网格参数的回归。该方法在保证精度的同时,优化了计算效率,具有广泛的实际应用价值。
Jan, 2023
使用图卷积神经网络的三维人体姿态估计方法 Pose2Mesh 直接从二维人体姿势估计三维网格顶点坐标,避免出现影响训练数据的外部环境的干扰,并且在多个基准数据集上优于以往的方法。
Aug, 2020
本文提出了一种基于图卷积神经网络的深度网格关系捕捉方法,结合形状完整性任务实现单张图像的 3D 人体形状重建,通过在网格节点之间的深度关系编码来解决预定义邻接矩阵的局限性,并通过形状完成任务来学习各种遮挡情况的先验知识减轻了性能退化问题。
Aug, 2021
介绍了一个用于视频中 2D 到 3D 人体姿势估计的多跳图变换网络,通过利用多头自注意力和多跳图卷积网络的优势以捕获时空依赖关系和处理远距离交互,提出了一个模型架构来实现准确的全局和局部依赖关系捕捉以及处理所需的空间细节,实验结果表明其有效性和泛化能力。
May, 2024
本文解决从单张图像中估计 3D 人体姿态和形状的问题,提出在保留 SMPL 模板网格拓扑的同时,使用 Graph-CNN 直接回归网格顶点的三维位置,与基于模型参数回归的可比较基线相比,我们的方法具有更好的效果。
May, 2019
研究提出了一种名为 GATOR 的新颖方法,其中包含了一个 AGT 编码器和一个具有 MDR 的解码器,以同时探索骨架到网格的多个关系,包括关节 - 关节、关节 - 顶点和顶点 - 顶点关系,并在顶点偏移场的聚类特征的基础上推断出顶点。
Mar, 2023
本文提出了一种基于多图卷积网络 (MGCN) 的三维人体姿势预测方法,该方法结合自然结构和序列注意力,同时捕获空间和时间信息,并在人体运动预测的基准数据集上表现出比现有方法更好的效果。
Apr, 2023
提出了一种基于 Transformer 以及 Laplacian 特征编码的多边形网格的语义分割方法,并在 Shape COSEG 数据集、人类分割数据集以及 ShapeNet 基准上实现了最先进的性能。
Jul, 2023