Aug, 2023

从视频中估计3D人体姿态和网格的共同演化

HTML
PDF
TL;DR提出了一种Pose and Mesh Co-Evolution网络（PMCE），通过将任务分解为视频中基于3D人体姿势估计和来自估计的3D姿势和时间图像特征的网格顶点回归，解决了从视频中准确、平滑地恢复3D人体运动的问题。实验证明，该方法在三个基准数据集（3DPW、Human3.6M和MPI-INF-3DHP）上在逐帧准确度和时间一致性方面优于先前的最先进方法。
发现论文，激发创造
  • 人体形状和姿势的端到端恢复

    本文提出了一种名为HMR的端到端框架，可从单个RGB图像恢复人体的完整3D网格，通过优化关键点的后投影损失来训练模型，并使用对抗神经网络解决了模型参数欠约束的问题，最终实现了在野外图像中直接从像素预测人体姿态和形状参数的目标。

    Dec, 2017

  • 卷积网格回归实现单张图片人体形状重建

    本文解决从单张图像中估计3D人体姿态和形状的问题，提出在保留SMPL模板网格拓扑的同时，使用Graph-CNN直接回归网格顶点的三维位置，与基于模型参数回归的可比较基线相比，我们的方法具有更好的效果。

    May, 2019

  • 利用时间上下文对野外三维人体姿态估计进行改进

    该研究通过基于束调整的算法从单眼视频中恢复准确的3D人体姿势和网格，通过在整个序列上重建人体来提供额外的约束并解决歧义问题。同时，该研究提出了一个包含超过3百万帧来自Kinetics的YouTube视频数据集，能够提高3D运动估计的准确性，该算法具有实际意义。

    May, 2019

  • 单目视频中全三维网格人体姿态的时间连续恢复

    该研究论文提出了一种基于深度学习和递归神经网络的方法，采用含有3D注释的合成单眼视频来恢复完整的3D人体姿势，并在定量和定性分析中证明了该方法的有效性。

    Jun, 2019

  • PoseNet3D: 通过知识蒸馏学习具有时间一致性的三维人体姿势

    提出使用神经网络框架PoseNet3D将二维关节作为输入，输出三维骨架和SMPL体模型参数，通过在学生-教师框架下的学习方法，无需使用任何3D数据进行训练，结果表明与之前的无监督方法相比，该方法将3D关节预测误差降低了18％。

    Mar, 2020

  • 从视频获取时间上连贯的3D人体姿态和形状的非静态特征研究

    该研究提出了一种基于视频的 3D 人体运动重建系统，该系统有效聚焦于过去和未来帧的时间信息，从而更好地解决了单张图像方法的时间不一致性问题。通过在帧间进行时间一致性的处理，该系统达到了更好的运动姿态和形状精度。

    Nov, 2020

  • Learnable Motion Generation实现3D人体姿势估计的跨数据集自适应

    该论文提出了一种名为AdaptPose的端到端框架，通过生成合成的3D人体动作数据，并在新数据集上通过微调来提高3D姿态估计模型的泛化能力，该方法成功地比之前的交叉数据集评估方法和使用部分3D注释的半监督学习方法改进了14%和16%。

    Dec, 2021

  • 从单目图像中恢复3D人体网格：一项调查

    本篇文章调查了单目三维人体网格恢复的相关任务，包括身体模型，恢复框架/训练目标，数据集评估指标和评测结果，并从优势和劣势方面深入分析了两种范式:优化和回归。作者希望激励研究人员的兴趣，促进该领域的研究。

    Mar, 2022

  • 捕捉运动中的人类：从单目视频中估计时间关注的三维人体姿态和形状

    该研究提出了一种运动姿势和形状网络（MPS-Net）来有效地捕捉视频中的运动并从中估计准确的和时间连续的三维人体姿态和形状。MPS-Net利用运动连续性注意力（MoCA）模块和分层注意特征融合（HAFI）模块以提高运动姿势的精度并使用更少的网络参数。

    Mar, 2022

  • 使用独立标记捕捉每个关节的动作：三维人体姿态和形状估计

    提出一种基于Transformer的模型，使用三种独立的tokens学习人体的3D关节旋转，身体形状和位置信息，进而估算SMPL参数，从而解决单目图像或视频中3D人体姿态和形状估计的困难问题，并具有较好性能。

    Mar, 2023