从视频预测三维人体动态
通过观察人类运动的视觉序列,我们可以轻松猜测人在过去和未来的 3D 运动。我们提出了一个可以学习人类 3D 动力学表示的框架,通过简单而有效的图像特征时间编码。在测试过程中,学习到的时空表示能够预测具有平稳性的 3D 网格。我们的模型可以从单个图像中恢复当前的 3D 网格以及它未来和过去的 3D 运动,同时也可以通过半监督学习从带有 2D 姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练,通过已有的 2D 姿态检测器得到伪基础真值 2D 姿态,证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。
Dec, 2018
本文提出了一种高效利用视频序列中连续帧运动信息来恢复人的三维姿态的方法,并通过回归边界框的时空体到中心帧的 3D 姿势来改进现有方法。同时,为了最大限度地发挥这种方法的潜力,本文阐明必须补偿连续帧中的运动,以使被测量者保持中心,从而能够有效地消除歧义并在 Human3.6m、HumanEva 和 KTH Multiview Football 3D 人体姿态估计基准测试中取得显著改进。
Nov, 2015
本文提出了一种基于稀疏表面标记预测人体运动的方法,通过 MOJO 模型生成高频成分的动画,使用 SMPL-X 模型保证解决方案符合身体的真实形态,并取得了最先进的结果。
Dec, 2020
本文提出了一种用 probabilistic approach 来预测 characteristic poses 的方法,解决了原有 human motion prediction 只能按时间预测的问题,同时构建了一个手动注释的数据集来评估模型,结果表明此方法的平均表现优于现有方法 26%。
Nov, 2020
本文提出一种新的多模态数据预测人类意图的方法,通过机器学习算法分析运动学信息、运用分类任务进行实验验证、结合 3D 和 2D 数据以及 2D+3D 融合分析,成功预测出未来的动作,展示了多模态方法在上下文无关的人类意图预测中的优越性。
May, 2016
研究使用单个 RGB 图像预测人体动态,提出了 3D Pose Forecasting Network (3D-PFNet),结合 2D 预测和 3D 空间,在多样化的数据源下进行了三步训练,展示了在 2D 姿势预测和 3D 姿势恢复上有竞争力的性能结果。
Apr, 2017
未来人体姿势预测是机器智能的基本应用,本研究引入了一种新的多模态感知驱动的运动预测方法,通过结合外部 3D 场景和内部人类凝视信息来实现高保真度的生成,同时考虑人的意图和场景的语义连贯性,该方法在 3D 人体姿势和轨迹预测上取得了最先进的性能。
May, 2024
本文介绍了一种基于物理模型的方法,用于从视频中推断 3D 人体运动,该方法利用初始的 2D 和 3D 姿态估计作为输入,并通过物理轨迹优化得出一个符合物理规律的运动。实验结果显示,相较于纯运动学方法,该方法能够显著地提高动作的真实性和准确性。
Jul, 2020
本文介绍了一种利用自监督学习估算不需要人工标注的静态背景下单个人物的 2D 视频帧生成 3D 人体姿势的方法。作者采用射线投射技术进行人体模板的渲染,使神经网络可以对渲染结果进行优化,从而获得了令人满意的结果。
Oct, 2022