Apr, 2024

TokenHMR：使用令牌化姿态表示改善人体网格恢复

HTML
PDF
TL;DR从单个图像中推断3D人体姿态和形状的问题，重点关注3D准确性。目前最好的方法利用大量的3D伪地面真值(p-GT)和2D关键点数据集，以实现稳健性能。我们观察到，随着2D准确性的提高，3D姿势准确性出现矛盾下降。错误的3D姿势是由于当前相机模型的偏差和2D关键点与p-GT的准确匹配引起的。我们定量化了当前相机模型引入的误差，并证明精确拟合2D关键点和p-GT会导致错误的3D姿势。我们提出了新的阈值自适应损失缩放(TALS)来惩罚较大的2D和p-GT损失，但不惩罚较小的损失。此方法可以解释2D数据的多个3D姿势，为了减少模糊性，我们需要一个先验来限制人体姿势的有效空间，我们利用人体姿势的Token编码重新定义了问题，这有效地引入了一个统一的先验。基于EMDB和3DPW数据集的大量实验证明，我们改进的关键点损失和Token编码使我们能够在野外数据上进行训练，并提高了3D准确性，我们的模型和代码可供研究使用。
发现论文，激发创造
  • 人体形状和姿势的端到端恢复

    本文提出了一种名为HMR的端到端框架，可从单个RGB图像恢复人体的完整3D网格，通过优化关键点的后投影损失来训练模型，并使用对抗神经网络解决了模型参数欠约束的问题，最终实现了在野外图像中直接从像素预测人体姿态和形状参数的目标。

    Dec, 2017

  • 卷积网格回归实现单张图片人体形状重建

    本文解决从单张图像中估计3D人体姿态和形状的问题，提出在保留SMPL模板网格拓扑的同时，使用Graph-CNN直接回归网格顶点的三维位置，与基于模型参数回归的可比较基线相比，我们的方法具有更好的效果。

    May, 2019

  • 从单目图像中恢复3D人体网格：一项调查

    本篇文章调查了单目三维人体网格恢复的相关任务，包括身体模型，恢复框架/训练目标，数据集评估指标和评测结果，并从优势和劣势方面深入分析了两种范式:优化和回归。作者希望激励研究人员的兴趣，促进该领域的研究。

    Mar, 2022

  • 使用独立标记捕捉每个关节的动作：三维人体姿态和形状估计

    提出一种基于Transformer的模型，使用三种独立的tokens学习人体的3D关节旋转，身体形状和位置信息，进而估算SMPL参数，从而解决单目图像或视频中3D人体姿态和形状估计的困难问题，并具有较好性能。

    Mar, 2023

  • 从视频中估计3D人体姿态和网格的共同演化

    提出了一种Pose and Mesh Co-Evolution网络（PMCE），通过将任务分解为视频中基于3D人体姿势估计和来自估计的3D姿势和时间图像特征的网格顶点回归，解决了从视频中准确、平滑地恢复3D人体运动的问题。实验证明，该方法在三个基准数据集（3DPW、Human3.6M和MPI-INF-3DHP）上在逐帧准确度和时间一致性方面优于先前的最先进方法。

    Aug, 2023

  • 高效Transformer的沙漏分词技术用于3D人体姿势估计

    提出了一种基于Transformer的3D人体姿态估计的剪枝和恢复框架，通过选择具有高语义多样性和消除视频帧冗余的少量代表性Token，在中间Transformer块中有效地提高模型效率。

    Nov, 2023

  • 双视图胜过单视图：多视一致性下的单目三维姿态估计

    通过使用多视角数据对单目人体姿态估计模型进行微调，引入新的一致性损失函数，提升性能，从而实现对特定应用定制模型的实用和经济有效解决方案。

    Nov, 2023

  • 深度学习用于3D人体姿势估计和网格恢复的综述

    本文通过研究200多篇论文，全面回顾了过去五年中3D人体姿态估计和网格恢复领域的深度学习方法进展，包括单人和多人方法，以及基于显式模型和隐式表示的人体网格恢复方法，并提供了公开数据集上的比较结果，以及深入观察和激发未来研究方向。

    Feb, 2024

  • PostoMETRO：姿态标记增强的网格变压器用于稳健的3D人体网格恢复

    通过整合鲁棒性2D姿态表示，PostoMETRO（Pose token enhanced Mesh TRANSformer）在变压器模型中以令牌方式恢复3D坐标，从而提高单张图像人体网格恢复的性能，尤其在遮挡等极端场景下的准确性和清晰度。

    Mar, 2024

  • 无监督学习基于物体为中心的视频中的类别级三维姿态

    从无人监督的以物体为中心的视频中学习估计类别级三维姿态，使用多视角对齐和密集对应的方法，我们的模型在无人监督下表现出色，提供了准确可靠的预测结果。

    Jul, 2024