从静态图像预测人类动态
本文提出了一种从单目视角输入捕获目标人物3D运动的方法,利用3D可变形网格模型重建运动,使用3D部分方向场对所有身体部位的3D方向进行编码,在训练集和性能评估方面表现良好,并在各种挑战性的野外视频上演示了总体运动捕捉的结果。
Dec, 2018
通过观察人类运动的视觉序列,我们可以轻松猜测人在过去和未来的3D运动。我们提出了一个可以学习人类3D动力学表示的框架,通过简单而有效的图像特征时间编码。在测试过程中,学习到的时空表示能够预测具有平稳性的3D网格。我们的模型可以从单个图像中恢复当前的3D网格以及它未来和过去的3D运动,同时也可以通过半监督学习从带有2D姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练,通过已有的2D姿态检测器得到伪基础真值2D姿态,证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。
Dec, 2018
本文在三个主要方面提出了改进:(1)使用生成对抗网络(GAN)预测3D人体动作,(2)设计架构来学习身体姿势和全局动作的联合分布,(3)提出了基于频率分布的两种替代指标来反映长期人类运动的实际分布,结果表明本文方法显著改善了现有技术,同时能够处理受到遮挡、噪声和丢失帧等影响的情况。
Dec, 2018
提出使用神经网络框架PoseNet3D将二维关节作为输入,输出三维骨架和SMPL体模型参数,通过在学生-教师框架下的学习方法,无需使用任何3D数据进行训练,结果表明与之前的无监督方法相比,该方法将3D关节预测误差降低了18%。
Mar, 2020
本文提出了一种用 probabilistic approach 来预测 characteristic poses 的方法,解决了原有 human motion prediction 只能按时间预测的问题,同时构建了一个手动注释的数据集来评估模型,结果表明此方法的平均表现优于现有方法 26%。
Nov, 2020
本文提出了一种基于稀疏表面标记预测人体运动的方法,通过MOJO模型生成高频成分的动画,使用SMPL-X模型保证解决方案符合身体的真实形态,并取得了最先进的结果。
Dec, 2020
本文中提出了一种统一的深度生成网络,用于多样化和可控的人体运动预测,该网络基于正则化流姿势先验和关节角损失函数,能够有效地提高模型的准确性和样本多样性。
Aug, 2021
介绍了一种基于多级设计的人体运动预测方法,结合了空间和时间两个因素,通过两个网络,以预测一个好的猜测值为基础,有效提高了预测的精度。该方法在多项实验数据中胜出并实现了超过前人方法6-16%的提升。
Mar, 2022
本文提出了MotionMixer,这是一种高效的三维人体姿势预测模型,完全基于多层感知器。通过顺序混合两种模态,MotionMixer学习了空间-时间三维身体姿势之间的依赖关系。通过使用squeeze-and-excitation (SE)块来校准姿势序列中每个时间步的影响,我们在Human3.6M、AMASS和3DPW数据集上使用标准评估协议评估了我们的方法,并展示了最先进的性能。
Jul, 2022