使用独立标记捕捉每个关节的动作:三维人体姿态和形状估计
本文提出了一种基于 Transformer 的姿势提升方案,能够处理时间上稀疏的二维姿势序列,但仍能产生时间上密集的三维姿势估计。其采用掩码令牌建模来实现 Transformer 块内的时间上采样,可以大大降低总计算复杂度。在 Human3.6M 和 MPI-INF-3DHP 上评估表明,相对于现有的方法,所提出的方法在保持准确性的同时将推理时间降低了 12 倍,这提高了在不同应用中使用可变消费者硬件的实时吞吐量。
Oct, 2022
我们提出了一个多阶段的 3D 序列到序列人体姿势检测框架,利用变压器的自注意力机制从多视角视频数据中捕捉空间 - 时间相关性,实验结果表明我们的方法在 Human3.6M 数据集上表现出色。
Jan, 2024
本研究提出了一种基于 DeepCut 和 SMPL 模型的 3D 姿态估计方法,能够从单张无约束的图像中自动预测人体的姿态和形状,实现了对人体结构和运动的精确推断。
Jul, 2016
本文提出了一种基于多视图图像的多人姿态估计方法,在统计参数体模型的引导下,这种方法能够更好地纠正不合理的 3D 姿态估计和填充缺失的关节点检测,将 2D 和 3D 观测联系起来,从而更准确地估计 3D 姿态并且具有较好的泛化性能,实验表明该方法的效果优于现有的方法。
Oct, 2021
通过引入两个关键元素,即分离的注意力操作和基于 SMPL 的目标表示,本文提出了一种面向 SMPL 的 Transformer 框架(SMPLer),通过有效利用 Transformer 中的高分辨率特征来解决了现有 monocular 3D human shape 和 pose estimation 模型在计算和内存复杂度方面的问题,并通过多个新模块进一步提高重建性能。在实验证明了 SMPLer 在量化和定性方面都比现有的 3D human shape 和 pose estimation 方法效果更好,其中在 Human3.6M 数据集上实现了 45.2 毫米的平均关节定位误差,相较于 Mesh Graphormer 提升了 10% 以上且参数数量不到三分之一。
Apr, 2024
提出了一种名为 Fusionformer 的方法用于 3D 人体姿态估计任务,通过引入自身轨迹模块、互相轨迹模块和全局空间时间特征以及局部关节轨迹特征的融合,最终通过姿势精炼网络来平衡 3D 投影的一致性,并在两个基准数据集上进行评估,结果表明与基线方法 poseformer 相比,在 Human3.6M 数据集上分别提高了 2.4%的 MPJPE 和 4.3%的 P-MPJPE。
Oct, 2022
通过训练深度神经网络,使用人体运动树结构来估计相对 3D 关节旋转矩阵的分层矩阵费舍尔分布(即身体姿态)和 SMPL 身体形状参数的高斯分布,实现了对 3D 人体形状和姿态的分布性预测,能够有效地量化预测不确定性并从中采样出多种可能的 3D 重建形式,从而解释给定的输入图像。
Oct, 2021
本文通过提出一种新的方法,在人体姿势估计中实现了更好的 3D 姿势估计精度,通过使用单目图像序列并利用深度全卷积网络预测 2D 关节位置的不确定性图,并使用期望最大化算法进行 3D 姿势估计。
Nov, 2015
本研究提出了一种新的任务,在人体形态和姿势估计中使用多幅图像组成的分布预测模型,使我们能够量化姿势预测的不确定性,并提高了 3D 人体形态估计度量标准。
Mar, 2021
本研究提出一种基于 transformer 的算法,能够在视频中实现 3D 人体姿态估计,通过对空间和时间进行变换,对每一帧中人体关节关系进行建模,并在中心帧上输出准确的 3D 人体姿态,该算法在 Human3.6M 和 MPI-INF-3DHP 数据集上实现了最先进的成果。
Mar, 2021