CVPRApr, 2024

TokenHMR：使用令牌化姿态表示改善人体网格恢复

PDF
TL;DR从单个图像中推断 3D 人体姿态和形状的问题，重点关注 3D 准确性。目前最好的方法利用大量的 3D 伪地面真值 (p-GT) 和 2D 关键点数据集，以实现稳健性能。我们观察到，随着 2D 准确性的提高，3D 姿势准确性出现矛盾下降。错误的 3D 姿势是由于当前相机模型的偏差和 2D 关键点与 p-GT 的准确匹配引起的。我们定量化了当前相机模型引入的误差，并证明精确拟合 2D 关键点和 p-GT 会导致错误的 3D 姿势。我们提出了新的阈值自适应损失缩放 (TALS) 来惩罚较大的 2D 和 p-GT 损失，但不惩罚较小的损失。此方法可以解释 2D 数据的多个 3D 姿势，为了减少模糊性，我们需要一个先验来限制人体姿势的有效空间，我们利用人体姿势的 Token 编码重新定义了问题，这有效地引入了一个统一的先验。基于 EMDB 和 3DPW 数据集的大量实验证明，我们改进的关键点损失和 Token 编码使我们能够在野外数据上进行训练，并提高了 3D 准确性，我们的模型和代码可供研究使用。
regressing 3d human pose2d keypointscamera projection modelthreshold-adaptive loss scaling (tals)tokenized representation of human pose
发现论文，激发创造
  • PostoMETRO：姿态标记增强的网格变压器用于稳健的 3D 人体网格恢复

    通过整合鲁棒性 2D 姿态表示，PostoMETRO（Pose token enhanced Mesh TRANSformer）在变压器模型中以令牌方式恢复 3D 坐标，从而提高单张图像人体网格恢复的性能，尤其在遮挡等极端场景下的准确性和清晰度。

    Mar, 2024

  • 使用独立标记捕捉每个关节的动作：三维人体姿态和形状估计

    提出一种基于 Transformer 的模型，使用三种独立的 tokens 学习人体的 3D 关节旋转，身体形状和位置信息，进而估算 SMPL 参数，从而解决单目图像或视频中 3D 人体姿态和形状估计的困难问题，并具有较好性能。

    Mar, 2023

  • 人体形状和姿势的端到端恢复

    本文提出了一种名为 HMR 的端到端框架，可从单个 RGB 图像恢复人体的完整 3D 网格，通过优化关键点的后投影损失来训练模型，并使用对抗神经网络解决了模型参数欠约束的问题，最终实现了在野外图像中直接从像素预测人体姿态和形状参数的目标。

    Dec, 2017

  • 高效 Transformer 的沙漏分词技术用于 3D 人体姿势估计

    提出了一种基于 Transformer 的 3D 人体姿态估计的剪枝和恢复框架，通过选择具有高语义多样性和消除视频帧冗余的少量代表性 Token，在中间 Transformer 块中有效地提高模型效率。

    Nov, 2023

  • TokenPose：学习人体姿势估计的关键点标记

    本文提出了一种基于 Token 表示的人体姿态估计方法（TokenPose），该方法可以通过学习图像中的外貌线索和约束关系来对关键点进行显式嵌入，与现有 CNN 方法相比，TokenPose 在参数和 GFLOPs 等方面均有所减少，但仍然可以达到与 CNN 的同等水平，代码公开。

    Apr, 2021

  • 人体姿势的组合符号

    提出了一种名为 PCT 的结构化表示方法，将人体姿势表示为 M 个离散的标记，以探索关节依赖关系，同时将姿势估计作为分类任务。实现了较低代价下小的重构误差，能够在遮挡情况下仍具备较好的表现。

    Mar, 2023

  • 一个轻量级的图变换网络用于从 2D 人体姿势重建人体网格

    本文提出了一种基于姿势的轻量级方法 GTRS，它可以从 2D 人类姿态重构人类网格。该方法利用图变换器来提取结构化和隐式的关节相关性以及网格模板来重构人类网格，从而大大提高了模型的效率和泛化性能。在 Human3.6M 和 3DPW 数据集上进行广泛的评估，GTRS 方法在仅使用 10.2％ 的参数和 2.5％ 的 FLOPs 的同时，比 SOTA 基于姿态的 Pose2Mesh 方法实现了更好的准确性。

    Nov, 2021

  • 改进的 TokenPose 与稀疏性

    在这篇论文中，我们引入了稀疏性来改善人体姿势估计，在 MPII 数据集上的实验证明了我们的模型具有更高的准确性和新的最先进结果，并且对其他基于 Transformer 的模型提供了参考。

    Nov, 2023

  • PoseGPT：关于三维人体姿势的对话

    PoseGPT 是一个框架，利用大型语言模型（LLMs）从图像或文本描述中理解和推理出 3D 人体姿势。它通过嵌入 SMPL 姿势作为多模态 LLM 中的独立信号标记来解决传统人体姿势估计方法的局限性，不仅简化了姿势预测，而且赋予了 LLMs 在推理人体姿势方面应用它们的世界知识的能力，从而在姿势估计上进行推理，创造了两项先进任务：姿势的假设生成和姿势估计的推理。PoseGPT 在这些新提出的任务上优于现有的多模态 LLMs 和特定任务的方法，并开辟了人体姿势分析的新方向。

    Nov, 2023

  • DistilPose: 基于热图蒸馏的令牌化姿态回归

    本文提出了一种新的人体姿态估计框架 DistilPose，它通过 Token-distilling Encoder 和 Simulated Heatmaps 将基于 heatmap 的和基于回归的方法结合起来，在保持有效性的同时显著提高了回归模型的性能。

    Mar, 2023