Dec, 2023

SoloPose: 基于视频数据增强的一次性运动学 3D 人体姿势估计

PDF
TL;DR本文介绍了 SoloPose，一种新颖的一次性、多对多的时空转换模型，用于视频中的运动学 3D 人体姿势估计。SoloPose 进一步加强了 HeatPose，一种基于高斯混合模型分布的 3D 热图，它对目标关键点和动力学相邻关键点进行因素分解。最后，我们通过 3D AugMotion 工具包解决了数据多样性限制问题，该方法通过将四个顶级公共 3D 人体姿势数据集（Humans3.6M、MADS、AIST Dance++、MPI INF 3DHP）投影到一个新的数据集（Humans7.1M）中，使用了一个通用的坐标系统。在 Human3.6M 和增强的 Humans7.1M 数据集上进行了大量实验证明，SoloPose 相对于最先进的方法具有优越的结果。
3d human pose estimationtwo-stage modelsone-shot modelsspatio-temporal transformer modeldata augmentation
发现论文，激发创造
  • MetaPose: 无需 3D 监督，快速从多视图中获得 3D 姿态

    本文介绍如何使用神经网络模型进行多摄像头人体姿势估计，在考虑多角度遮挡及联合位置不确定性情况下，使用 2D 关键点数据进行训练。相比于经典捆绑调整与弱监督单目 3D 基线方法，我们的模型在 Human3.6M 和 Ski-Pose PTZ 数据集上表现更好。

    Aug, 2021

  • 多透视 空时关系变换的精确 3D 人体姿势估计

    我们提出了一个多阶段的 3D 序列到序列人体姿势检测框架，利用变压器的自注意力机制从多视角视频数据中捕捉空间 - 时间相关性，实验结果表明我们的方法在 Human3.6M 数据集上表现出色。

    Jan, 2024

  • 从多视角图像学习单目三维人体姿态估计

    本文提出了一种通过多视角的训练，使用一致性约束联合监督损失及惩罚项实现替代大量标注的 3D 人体姿态估计方法，并提出了一种联合估计相机姿态及人体姿态的方法，在 3D 人体姿态估计方面取得了良好的表现。

    Mar, 2018

  • 无监督三维人体姿态估计的运动学结构保留表示

    本文提出了一种采用运动学结构保持无监督学习的 3D 人体姿势估计框架，可以避免使用任何弱监督模型，并通过能量损失和运动学先验知识来训练模型，提高对新环境下的准确性和泛化能力。

    Jun, 2020

  • 从结构和动作学习 3D 人体姿势

    使用两种解剖启发的损失函数和弱监督学习框架，结合大规模野外 2D 和室内 / 合成 3D 数据共同学习人体姿态估计。还提出了一个简单的时间网络来调和预测的姿态序列，并通过损失表面可视化和敏感性分析仔细分析了所提出的贡献的工作机制。我们的完整流程在 Human3.6M 和 MPI-INF-3DHP 上分别提高了 11.8％和 12％，并在普通图形卡上以 30 FPS 运行。

    Nov, 2017

  • 野外无监督单目 3D 人体姿态估计 CanonPose

    本文提出了一种自我监督的方法，利用未标注的多视角数据学习单图像三维姿态估计器，通过多视角一致性约束将观察到的二维姿态分离成基础的三维姿态和相机旋转，并且提出了新的、无偏的重建目标函数，跨视角和训练样本混合信息。该方法在两个基准数据集（Human3.6M 和 MPII-INF-3DHP）和野外 SkiPose 数据集上进行了评估。

    Nov, 2020

  • SelfPose3d：自监督的多人多视角 3D 姿势估计

    自我监督方法通过多视角输入图像和伪造姿势进行 3D 姿势估计，不需要 2D 或 3D 真实姿势标签，并且其有效性与完全监督方法相当。

    Apr, 2024

  • MoCap 引导的数据增强在野外三维姿态估计中的应用

    该论文提出了一种采用基于图像合成方法生成真实图片数据集以训练 CNN 模型，用于解决 3D 人体姿态估计缺少真实数据的问题，并通过在受控环境和实境的表现表明其可行性。

    Jul, 2016

  • ElePose: 通过预测相机高度并在二维姿态上学习归一化流的无监督三维人体姿态估计

    本文提出一种无监督的方法，通过学习从单张图像预测 3D 人体姿态来解决对于许多人类活动尚不存在标注训练数据的挑战，并且采用正则化流和对 2D 和 3D 姿态进行线性子空间投影来提高性能。

    Dec, 2021

  • 利用时间上下文对野外三维人体姿态估计进行改进

    该研究通过基于束调整的算法从单眼视频中恢复准确的 3D 人体姿势和网格，通过在整个序列上重建人体来提供额外的约束并解决歧义问题。同时，该研究提出了一个包含超过 3 百万帧来自 Kinetics 的 YouTube 视频数据集，能够提高 3D 运动估计的准确性，该算法具有实际意义。

    May, 2019