从视频中学习三维人体动力学

CVPRDec, 2018

Learning 3D Human Dynamics from Video

Angjoo Kanazawa, Jason Y. Zhang, Panna Felsen, Jitendra Malik

TL;DR通过观察人类运动的视觉序列，我们可以轻松猜测人在过去和未来的 3D 运动。我们提出了一个可以学习人类 3D 动力学表示的框架，通过简单而有效的图像特征时间编码。在测试过程中，学习到的时空表示能够预测具有平稳性的 3D 网格。我们的模型可以从单个图像中恢复当前的 3D 网格以及它未来和过去的 3D 运动，同时也可以通过半监督学习从带有 2D 姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练，通过已有的 2D 姿态检测器得到伪基础真值 2D 姿态，证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。

Abstract

From an image of a person in action, we can easily guess the 3d motion of the person in the immediate past and future. This is because we have a mental model of 3D human dynamics that we have acquired from observ

3d motion human dynamics temporal encoding semi-supervised learning 3d prediction

发现论文，激发创造

从视频预测三维人体动态

本篇论文提出了一种可以根据过去的视频输入，预测人体未来三维网格模型序列的方法，通过引入自回归模型在中间潜在空间上进行预测，有效地促进了自回归预测。

Aug, 2019

单目视频中全三维网格人体姿态的时间连续恢复

该研究论文提出了一种基于深度学习和递归神经网络的方法，采用含有 3D 注释的合成单眼视频来恢复完整的 3D 人体姿势，并在定量和定性分析中证明了该方法的有效性。

Jun, 2019

学习用于人体网格恢复的本地循环模型

提出一种结合骨架模型、将人类网格划分为多个局部部分并使用单独的循环模型建模每个局部部分动态的新方法，进行视频网格恢复，最终实现了在多个基准数据集上的最先进结果。

Jul, 2021

通过神经渲染在静态视频中进行自监督的三维人体姿势估计

本文介绍了一种利用自监督学习估算不需要人工标注的静态背景下单个人物的 2D 视频帧生成 3D 人体姿势的方法。作者采用射线投射技术进行人体模板的渲染，使神经网络可以对渲染结果进行优化，从而获得了令人满意的结果。

Oct, 2022

单目视频中的接触与人类动力学

本文介绍了一种基于物理模型的方法，用于从视频中推断 3D 人体运动，该方法利用初始的 2D 和 3D 姿态估计作为输入，并通过物理轨迹优化得出一个符合物理规律的运动。实验结果显示，相较于纯运动学方法，该方法能够显著地提高动作的真实性和准确性。

Jul, 2020

利用时间上下文对野外三维人体姿态估计进行改进

该研究通过基于束调整的算法从单眼视频中恢复准确的 3D 人体姿势和网格，通过在整个序列上重建人体来提供额外的约束并解决歧义问题。同时，该研究提出了一个包含超过 3 百万帧来自 Kinetics 的 YouTube 视频数据集，能够提高 3D 运动估计的准确性，该算法具有实际意义。

May, 2019

从静态图像预测人类动态

研究使用单个 RGB 图像预测人体动态，提出了 3D Pose Forecasting Network (3D-PFNet)，结合 2D 预测和 3D 空间，在多样化的数据源下进行了三步训练，展示了在 2D 姿势预测和 3D 姿势恢复上有竞争力的性能结果。

Apr, 2017

从短序列预测人体 3D 姿势

本文介绍一种利用视频序列中连续帧的运动信息来恢复人体 3D 姿态的高效方法，直接从时空块回归到中间帧的 3D 姿态，克服了模糊和提升了现有方法的性能。

Apr, 2015

从结构和动作学习 3D 人体姿势

使用两种解剖启发的损失函数和弱监督学习框架，结合大规模野外 2D 和室内 / 合成 3D 数据共同学习人体姿态估计。还提出了一个简单的时间网络来调和预测的姿态序列，并通过损失表面可视化和敏感性分析仔细分析了所提出的贡献的工作机制。我们的完整流程在 Human3.6M 和 MPI-INF-3DHP 上分别提高了 11.8％和 12％，并在普通图形卡上以 30 FPS 运行。

Nov, 2017

从单个 RGB 相机学习重建穿着衣服的人

本文提出了一种基于学习的模型，利用少量单目视频帧 (1-8 帧) 从移动的人中推断出其个性化的 3D 形状，可在不到 10 秒内达到 5mm 的重建精度。该模型学习预测一个统计体型模型的参数和实例化偏移量，同时加入衣服和头发的形状，具有快速和准确的预测，这得益于其对 T-pose 空间的预测和从上往下和从下往上两个视图预测的结合。该模型仅基于合成的 3D 数据进行学习，可将可变数量的帧作为输入，即使仅有一张图像，也能以 6mm 的精度重建形状。3 个不同数据集的结果表明了本方法的有效性和准确性。

Mar, 2019