Apr, 2024

SkelFormer：使用骨架转换器进行无标记的 3D 姿态和形状估计

PDF
TL;DR为了多视角人体姿势和形状估计，我们介绍了 SkelFormer，一种新颖的无标记动作捕捉方法。我们的方法首先使用现成的在野外大规模训练的 2D 关键点估计器来获取 3D 关节位置。接下来，我们设计了一个基于回归的逆运动学骨骼变换器，将关节位置从嘈杂的观测映射到姿势和形状表示。该模块结合了关于姿势空间的先验知识，并在运行时推断完整的姿势状态。通过将 3D 关键点检测和逆运动学问题分离，并利用我们骨骼变换器学到的表达能力，增强了我们的方法对未见过的嘈杂数据的泛化能力。我们在三个公共数据集上进行实验评估，在分布内和分布外的设置下，对之前的工作表现出良好的性能。此外，消融实验展示了我们架构的每个模块的影响。最后，我们研究了我们的方法在处理噪声和重叠方面的性能，并发现与其他解决方案相比具有相当的鲁棒性。
skelformermotion capturepose estimationshape estimationregression-based inverse-kinematic
发现论文，激发创造
  • Skeletor: 基于骨架的 Transformer 模型用于鲁棒的身体姿态估计

    本篇研究旨在解决从一张单目视频中预测 3D 人体姿态的问题，提出了一种基于 Transformer 的网络 Skeletor，通过无监督学习学习运动的三维姿态与运动分布，有效克服低分辨率、模糊运动和部分骨骼损坏等问题，同时提高了 3D 人体姿态估计的性能。

    Apr, 2021

  • 使用空间和时间转换器的三维人体姿势估计

    本研究提出一种基于 transformer 的算法，能够在视频中实现 3D 人体姿态估计，通过对空间和时间进行变换，对每一帧中人体关节关系进行建模，并在中心帧上输出准确的 3D 人体姿态，该算法在 Human3.6M 和 MPI-INF-3DHP 数据集上实现了最先进的成果。

    Mar, 2021

  • 使用独立标记捕捉每个关节的动作：三维人体姿态和形状估计

    提出一种基于 Transformer 的模型，使用三种独立的 tokens 学习人体的 3D 关节旋转，身体形状和位置信息，进而估算 SMPL 参数，从而解决单目图像或视频中 3D 人体姿态和形状估计的困难问题，并具有较好性能。

    Mar, 2023

  • 用于从 2D 人体姿态估计中获得人体姿态和形状的模块化多阶段轻量级图转换网络

    本文提出了一种基于图表的变形网络，实现了从二维人体姿态到三维人体姿态的估计和到三维人体网格参数的回归。该方法在保证精度的同时，优化了计算效率，具有广泛的实际应用价值。

    Jan, 2023

  • PoseFormerV2: 探索频域以实现高效和强韧的 3D 人体姿势估计

    本研究提出了一种名为 PoseFormerV2 的新型人体姿态估计方法，借助于在频域上紧凑的骨骼序列表示，以有效地扩大接受域并增强对噪声干扰的鲁棒性，进行时域和频域特征有效融合，相较于原始的 PoseFormer 和其他基于 transformer 的变体有更好的速度 - 准确性平衡。

    Mar, 2023

  • Skeleton Transformer Networks：从单张 RGB 图像提取 3D 人体姿态和皮肤网格

    该研究提出了一种名为 Skeleton Transformer Networks 的网络框架，可以通过单张彩色图像预测出人体骨架的 3D 关节点位置和 3D 角度姿态，并从而生成蒙皮网格动画。该框架采用两步回归方法进行骨骼旋转预测，其中第一步通过考虑骨架结构回归骨骼旋转以获得初始解，第二步则基于被称为交叉热图的三维姿态表示采用热图回归器进行精细化调整。实验表明，使用该框架训练的 3D 人体姿势数据集可以在野外环境下通过单张图像准确预测出人体的 3D 姿态。

    Dec, 2018

  • XFormer: 快速准确的单目三维人体捕捉

    XFormer 是一种新型的人体网格和动作捕捉方法，能够仅用单目图像即可实现在普通 CPU 上的实时性能，并能够高效地训练于多种数据集，其关键在于跨模态的 transformer block。

    May, 2023

  • 基于时间的准确无标记人体形态和姿势估计

    本文提出了一种基于 SMPLify 方法的全自动方法，可以从多视角视频中估计三维人体运动和身体形状，并利用 CNN 方法和 DCT 时间先验方法来提高精度，并且在标准基准测试中的结果与最先进的方法相当，同时还提供了一个逼真的 3D 形状 Avatar。

    Jul, 2017

  • EgoPoseFormer：一种用于自视角 3D 人体姿态估计的简单基线

    使用 EgoPoseFormer 模型进行立体自我中心人体姿态估计，通过引入两阶段姿态估计范式和可变形立体操作，有效地解决了联合不可见性问题，从而实现了更精确的关节点定位和三维环境中的姿态估计。

    Mar, 2024

  • 多透视 空时关系变换的精确 3D 人体姿势估计

    我们提出了一个多阶段的 3D 序列到序列人体姿势检测框架，利用变压器的自注意力机制从多视角视频数据中捕捉空间 - 时间相关性，实验结果表明我们的方法在 Human3.6M 数据集上表现出色。

    Jan, 2024