从短序列预测人体 3D 姿势
本文提出了一种高效利用视频序列中连续帧运动信息来恢复人的三维姿态的方法,并通过回归边界框的时空体到中心帧的3D姿势来改进现有方法。同时,为了最大限度地发挥这种方法的潜力,本文阐明必须补偿连续帧中的运动,以使被测量者保持中心,从而能够有效地消除歧义并在Human3.6m、HumanEva和KTH Multiview Football 3D人体姿态估计基准测试中取得显著改进。
Nov, 2015
本文介绍了一种基于递归3D姿态序列机器(RPSM)的方法,利用多级顺序细化来自动学习图像相依结构约束和序列相依时间上下文,以提高准确的3D姿态序列预测,在人类行为数据集Human3.6M和HumanEva-I数据集方面的评估显示,我们的方法优于所有最先进的3D姿态估计方法。
Jul, 2017
通过观察人类运动的视觉序列,我们可以轻松猜测人在过去和未来的3D运动。我们提出了一个可以学习人类3D动力学表示的框架,通过简单而有效的图像特征时间编码。在测试过程中,学习到的时空表示能够预测具有平稳性的3D网格。我们的模型可以从单个图像中恢复当前的3D网格以及它未来和过去的3D运动,同时也可以通过半监督学习从带有2D姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练,通过已有的2D姿态检测器得到伪基础真值2D姿态,证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。
Dec, 2018
该研究通过基于束调整的算法从单眼视频中恢复准确的3D人体姿势和网格,通过在整个序列上重建人体来提供额外的约束并解决歧义问题。同时,该研究提出了一个包含超过3百万帧来自Kinetics的YouTube视频数据集,能够提高3D运动估计的准确性,该算法具有实际意义。
May, 2019
该论文提出了一种使用矩阵分解来进行序列3D人体姿势估计的深度学习框架,通过对轨迹系数矩阵进行深度回归操作,可以为输入序列中的每个帧输出3D姿态估计,取得了多个基准数据集上最先进的表现。
Aug, 2019
借助多尺度空间特征和多步幅时间卷积网络,在设计A的基础上,B通过在训练过程中模拟各种遮挡情况来提高露出度鲁棒性,并利用2D视频数据注入半监督学习能力。实验证实了该方法的有效性,并且消融研究表明我们网络的单个子模块的优势。
Apr, 2020
本文提出了一种用 probabilistic approach 来预测 characteristic poses 的方法,解决了原有 human motion prediction 只能按时间预测的问题,同时构建了一个手动注释的数据集来评估模型,结果表明此方法的平均表现优于现有方法 26%。
Nov, 2020
TEMPO是一种高效的多视角姿势估计模型,通过学习稳健的时空表示,提高了姿势准确性,同时还能跟踪和预测人体姿势。该模型通过循环计算个人的二维姿势特征,将空间和时间信息融合成一种表示,并利用时空上下文预测更准确的人体姿势,同时保持高效性。该模型能够跨数据集泛化而无需场景特定微调,达到了相比TesseTrack在具有挑战性的CMU Panoptic Studio数据集上MPJPE提升10%,帧率提升33倍的效果。
Sep, 2023
使用现有的2D姿态检测器产生的中间可视化表示,从而获得姿态的空间上下文信息。通过设计一个名为Context-Aware PoseFormer的简单基线方法来展示其有效性,该方法在速度和精度方面明显优于其他使用数百个视频帧的最先进方法。
Nov, 2023