CVPRApr, 2017

从静态图像预测人类动态

PDF
TL;DR研究使用单个 RGB 图像预测人体动态，提出了 3D Pose Forecasting Network (3D-PFNet)，结合 2D 预测和 3D 空间，在多样化的数据源下进行了三步训练，展示了在 2D 姿势预测和 3D 姿势恢复上有竞争力的性能结果。
human dynamicsrgb image3d pose forecasting networksingle-image human pose estimationsequence prediction
发现论文，激发创造
  • 从视频中学习三维人体动力学

    通过观察人类运动的视觉序列，我们可以轻松猜测人在过去和未来的 3D 运动。我们提出了一个可以学习人类 3D 动力学表示的框架，通过简单而有效的图像特征时间编码。在测试过程中，学习到的时空表示能够预测具有平稳性的 3D 网格。我们的模型可以从单个图像中恢复当前的 3D 网格以及它未来和过去的 3D 运动，同时也可以通过半监督学习从带有 2D 姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练，通过已有的 2D 姿态检测器得到伪基础真值 2D 姿态，证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。

    Dec, 2018

  • 基于深度马尔可夫模型的人体姿态预测

    本研究提出了一种基于深度马尔科夫模型的变分自编码器生成姿势的框架，探讨姿势预测的新方法，并基于一个床具拼装视频数据集进行验证。

    Jul, 2017

  • 通过神经渲染在静态视频中进行自监督的三维人体姿势估计

    本文介绍了一种利用自监督学习估算不需要人工标注的静态背景下单个人物的 2D 视频帧生成 3D 人体姿势的方法。作者采用射线投射技术进行人体模板的渲染，使神经网络可以对渲染结果进行优化，从而获得了令人满意的结果。

    Oct, 2022

  • 使用三维卷积神经网络实现时空人体姿态估计

    本研究探讨了卷积神经网络在处理单目视觉下 3D 人体姿态感知任务方面的能力，通过将时间维度编码在卷积空间中的第三个维度，直接回归到 3D 坐标空间中的人体关节位置，从而在选定的 Human3.6M 数据集上展示了该网络达到了最先进的性能。

    Aug, 2016

  • 从结构和动作学习 3D 人体姿势

    使用两种解剖启发的损失函数和弱监督学习框架，结合大规模野外 2D 和室内 / 合成 3D 数据共同学习人体姿态估计。还提出了一个简单的时间网络来调和预测的姿态序列，并通过损失表面可视化和敏感性分析仔细分析了所提出的贡献的工作机制。我们的完整流程在 Human3.6M 和 MPI-INF-3DHP 上分别提高了 11.8％和 12％，并在普通图形卡上以 30 FPS 运行。

    Nov, 2017

  • 自监督单张图像下的三维人体姿态估计

    本论文提出了一种新的自我监督方法，通过训练不带标签的典型姿势图像数据集和未成对的 2D 姿势数据，从而实现了从单幅图像预测 3D 人体姿势的网络映射，可用于快速应用于其他人工结构（例如动物）的姿态估计。

    Apr, 2023

  • 三维人体姿态估计 = 二维姿态估计 + 匹配

    本文探讨了通过 2D 姿态估计和 3D 运动捕捉数据简单推理得出三维人体姿态的方法，并演示了该方法优于目前大部分直接由 2D 测量回归三维姿态估计系统的现有方法。

    Dec, 2016

  • 从视频预测三维人体动态

    本篇论文提出了一种可以根据过去的视频输入，预测人体未来三维网格模型序列的方法，通过引入自回归模型在中间潜在空间上进行预测，有效地促进了自回归预测。

    Aug, 2019

  • 多人无标记数据 3D 姿势估计

    本文研究多人姿态估计问题，提出了一种基于多视图系统和深度学习的方法，通过使用图神经网络模型预测场景中不同人之间的视角对应关系，并使用多层感知器模型将 2D 点转换为每个人的 3D 姿态。该模型采用自监督学习方式进行训练，从而避免了对大规模 3D 数据集的依赖。

    Dec, 2022

  • 使用深度神经网络进行 3D 人体姿态结构预测

    本文提出了一种基于深度学习回归体系结构的 3D 人体姿势结构预测方法，该方法借助于过度完备的自动编码器并考虑关节从属关系，优于现有技术，包括结构保留和预测准确性两方面。

    May, 2016