基于时空趋势推理的人体姿态和形状估计技术
通过观察人类运动的视觉序列,我们可以轻松猜测人在过去和未来的3D运动。我们提出了一个可以学习人类3D动力学表示的框架,通过简单而有效的图像特征时间编码。在测试过程中,学习到的时空表示能够预测具有平稳性的3D网格。我们的模型可以从单个图像中恢复当前的3D网格以及它未来和过去的3D运动,同时也可以通过半监督学习从带有2D姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练,通过已有的2D姿态检测器得到伪基础真值2D姿态,证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。
Dec, 2018
本文提出了基于视频的身体姿态和形状估计方法(VIBE),利用现有的大规模运动捕捉数据集(AMASS)和无配对的野外2D关键点注释,通过对抗学习框架,利用AMASS区分真实人体运动和由时态姿态和形状回归网络生成的运动,得到运动检测序列,具有动力学合理性,成功地解决了基于视频的人体三维姿态估计的挑战问题。
Dec, 2019
本文提出一种新颖的基于Transformer的架构,用于生成3D人体运动的模型。该模型能够学习高维度骨骼关节的嵌入,通过解耦的时间和空间自注意机制使得生成的姿态在时间上是连贯的。实验结果表明该模型能够准确地生成短期预测并在长期时间跨度内生成合理的运动序列。
Apr, 2020
借助多尺度空间特征和多步幅时间卷积网络,在设计A的基础上,B通过在训练过程中模拟各种遮挡情况来提高露出度鲁棒性,并利用2D视频数据注入半监督学习能力。实验证实了该方法的有效性,并且消融研究表明我们网络的单个子模块的优势。
Apr, 2020
该研究提出了一种运动姿势和形状网络(MPS-Net)来有效地捕捉视频中的运动并从中估计准确的和时间连续的三维人体姿态和形状。MPS-Net利用运动连续性注意力(MoCA)模块和分层注意特征融合(HAFI)模块以提高运动姿势的精度并使用更少的网络参数。
Mar, 2022
提出一种基于Transformer的模型,使用三种独立的tokens学习人体的3D关节旋转,身体形状和位置信息,进而估算SMPL参数,从而解决单目图像或视频中3D人体姿态和形状估计的困难问题,并具有较好性能。
Mar, 2023
该研究提出了一种基于时间注意力的概率人体姿势和形状估计方法(TAPE),通过对一段视频进行编码并使用概率分布输出估计的人体姿势,相比于其他方法在标准基准测试中表现更好。
Apr, 2023
该论文提出了一种基于时空转换器的人体姿势评估和纠正框架(STTF),用于教育场景中的体育锻炼和科学实验,通过骨骼跟踪、姿势估计、姿势评估和姿势纠正模块为学生提供专业的及时反馈,并利用姿势纠正方法提供可视化辅助纠正反馈。研究结果表明,该模型能有效地评估和评价学生动作的质量,通过利用转换器模型捕捉人体姿势的时空依赖关系,实现了准确的评估和有效的纠正学生动作。
Nov, 2023
提出了一种从单眼视频中恢复时间一致的3D人体姿势、形状和动作的方法,通过使用具有身体感知特征表示和独立的逐帧姿势和相机初始化,结合自相似性和自注意力等技术进行时空特征聚合,该方法提供了增强的时空上下文,可在各种复杂场景下得到更准确的姿势估计和形状重建。
Nov, 2023
该研究提出了一种融合基于体形结构图的表示和时空信息的时空图神经网络建模框架,以解决视频中三维人体姿势估计中深度模糊所带来的挑战。通过引入融合图信息的注意力机制以及在参数使用和特征学习方面的优化处理,该方法在Human3.6M和MPI-INF-3DHP数据集上实现了领先水平的三维人体姿势估计性能。
Jul, 2024