Apr, 2021

Skeletor: 基于骨架的 Transformer 模型用于鲁棒的身体姿态估计

PDF
TL;DR本篇研究旨在解决从一张单目视频中预测 3D 人体姿态的问题，提出了一种基于 Transformer 的网络 Skeletor，通过无监督学习学习运动的三维姿态与运动分布，有效克服低分辨率、模糊运动和部分骨骼损坏等问题，同时提高了 3D 人体姿态估计的性能。
3d human posemonoscopic videotransformer networkunsupervised learningskeletor
发现论文，激发创造
  • Skeleton Transformer Networks：从单张 RGB 图像提取 3D 人体姿态和皮肤网格

    该研究提出了一种名为 Skeleton Transformer Networks 的网络框架，可以通过单张彩色图像预测出人体骨架的 3D 关节点位置和 3D 角度姿态，并从而生成蒙皮网格动画。该框架采用两步回归方法进行骨骼旋转预测，其中第一步通过考虑骨架结构回归骨骼旋转以获得初始解，第二步则基于被称为交叉热图的三维姿态表示采用热图回归器进行精细化调整。实验表明，使用该框架训练的 3D 人体姿势数据集可以在野外环境下通过单张图像准确预测出人体的 3D 姿态。

    Dec, 2018

  • SkelFormer：使用骨架转换器进行无标记的 3D 姿态和形状估计

    为了多视角人体姿势和形状估计，我们介绍了 SkelFormer，一种新颖的无标记动作捕捉方法。我们的方法首先使用现成的在野外大规模训练的 2D 关键点估计器来获取 3D 关节位置。接下来，我们设计了一个基于回归的逆运动学骨骼变换器，将关节位置从嘈杂的观测映射到姿势和形状表示。该模块结合了关于姿势空间的先验知识，并在运行时推断完整的姿势状态。通过将 3D 关键点检测和逆运动学问题分离，并利用我们骨骼变换器学到的表达能力，增强了我们的方法对未见过的嘈杂数据的泛化能力。我们在三个公共数据集上进行实验评估，在分布内和分布外的设置下，对之前的工作表现出良好的性能。此外，消融实验展示了我们架构的每个模块的影响。最后，我们研究了我们的方法在处理噪声和重叠方面的性能，并发现与其他解决方案相比具有相当的鲁棒性。

    Apr, 2024

  • 野外基于骨架的动作识别

    SkeleTR 是一个新的基于骨架的动作识别框架，通过图卷积来模拟骨架序列的个人内部动态，并使用堆叠的 Transformer 编码器来捕捉人与人之间的重要交互，从而在一般情境下进行动作识别。

    Sep, 2023

  • 几何偏置变换器用于鲁棒的多视角 3D 人体姿势重建

    通过提出一种新颖的编码器 - 解码器 Transformer 架构，结合多视角和时间信息、几何关系和 2D 姿态检测可信度，我们解决了估计多视图下遮挡和受限重叠视图的 3D 人体姿势的挑战。我们的实验表明该方法在传统三角定位方法的具有挑战性的遮挡场景和视图受限场景中表现出很好的效果。

    Dec, 2023

  • 使用空间和时间转换器的三维人体姿势估计

    本研究提出一种基于 transformer 的算法，能够在视频中实现 3D 人体姿态估计，通过对空间和时间进行变换，对每一帧中人体关节关系进行建模，并在中心帧上输出准确的 3D 人体姿态，该算法在 Human3.6M 和 MPI-INF-3DHP 数据集上实现了最先进的成果。

    Mar, 2021

  • 用于从 2D 人体姿态估计中获得人体姿态和形状的模块化多阶段轻量级图转换网络

    本文提出了一种基于图表的变形网络，实现了从二维人体姿态到三维人体姿态的估计和到三维人体网格参数的回归。该方法在保证精度的同时，优化了计算效率，具有广泛的实际应用价值。

    Jan, 2023

  • 多透视 空时关系变换的精确 3D 人体姿势估计

    我们提出了一个多阶段的 3D 序列到序列人体姿势检测框架，利用变压器的自注意力机制从多视角视频数据中捕捉空间 - 时间相关性，实验结果表明我们的方法在 Human3.6M 数据集上表现出色。

    Jan, 2024

  • 使用独立标记捕捉每个关节的动作：三维人体姿态和形状估计

    提出一种基于 Transformer 的模型，使用三种独立的 tokens 学习人体的 3D 关节旋转，身体形状和位置信息，进而估算 SMPL 参数，从而解决单目图像或视频中 3D 人体姿态和形状估计的困难问题，并具有较好性能。

    Mar, 2023

  • Poseur：基于 Transformer 的直接人体姿势回归

    提出了一种基于 Transformer 网络的 2D 人体姿势估计方法，直接将图像转换为坐标进行回归预测，并利用自适应注意力机制来提高关键点坐标预测精度，实现了在 MS-COCO 数据集上超越同类方法的目标。

    Jan, 2022

  • Pose Transformers（POTR）：使用非自回归 Transformer 进行人体动作预测

    该研究提出使用 Transformer 建模实现非自回归人体运动预测，采用串行解码替代基于先前预测的循环神经网络，实现了在序列中并行解码。该方法在短期预测方面具有较高的竞争力。

    Sep, 2021