Nov, 2015

从运动补偿序列中直接预测3D身体姿态

HTML
PDF
TL;DR本文提出了一种高效利用视频序列中连续帧运动信息来恢复人的三维姿态的方法，并通过回归边界框的时空体到中心帧的3D姿势来改进现有方法。同时，为了最大限度地发挥这种方法的潜力，本文阐明必须补偿连续帧中的运动，以使被测量者保持中心，从而能够有效地消除歧义并在Human3.6m、HumanEva和KTH Multiview Football 3D人体姿态估计基准测试中取得显著改进。
发现论文，激发创造
  • 从短序列预测人体 3D 姿势

    本文介绍一种利用视频序列中连续帧的运动信息来恢复人体3D姿态的高效方法，直接从时空块回归到中间帧的3D姿态，克服了模糊和提升了现有方法的性能。

    Apr, 2015

  • 野外单目3D人体姿势估计基于优化CNN监督

    提出了一种基于CNN的方法，利用现有的3D姿势数据和2D姿势数据进行迁移学习，在真实场景中实现了最先进的性能，同时引入了一个人类身体姿势估计的新训练集，并提出了一个覆盖室内和室外场景的新基准。

    Nov, 2016

  • 循环3D姿势序列机

    本文介绍了一种基于递归3D姿态序列机器（RPSM）的方法，利用多级顺序细化来自动学习图像相依结构约束和序列相依时间上下文，以提高准确的3D姿态序列预测，在人类行为数据集Human3.6M和HumanEva-I数据集方面的评估显示，我们的方法优于所有最先进的3D姿态估计方法。

    Jul, 2017

  • 从视频中学习三维人体动力学

    通过观察人类运动的视觉序列，我们可以轻松猜测人在过去和未来的3D运动。我们提出了一个可以学习人类3D动力学表示的框架，通过简单而有效的图像特征时间编码。在测试过程中，学习到的时空表示能够预测具有平稳性的3D网格。我们的模型可以从单个图像中恢复当前的3D网格以及它未来和过去的3D运动，同时也可以通过半监督学习从带有2D姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练，通过已有的2D姿态检测器得到伪基础真值2D姿态，证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。

    Dec, 2018

  • 利用时间上下文对野外三维人体姿态估计进行改进

    该研究通过基于束调整的算法从单眼视频中恢复准确的3D人体姿势和网格，通过在整个序列上重建人体来提供额外的约束并解决歧义问题。同时，该研究提出了一个包含超过3百万帧来自Kinetics的YouTube视频数据集，能够提高3D运动估计的准确性，该算法具有实际意义。

    May, 2019

  • 单目视频中全三维网格人体姿态的时间连续恢复

    该研究论文提出了一种基于深度学习和递归神经网络的方法，采用含有3D注释的合成单眼视频来恢复完整的3D人体姿势，并在定量和定性分析中证明了该方法的有效性。

    Jun, 2019

  • 使用具有显式遮挡训练的时空网络进行3D人体姿势估计

    借助多尺度空间特征和多步幅时间卷积网络，在设计A的基础上，B通过在训练过程中模拟各种遮挡情况来提高露出度鲁棒性，并利用2D视频数据注入半监督学习能力。实验证实了该方法的有效性，并且消融研究表明我们网络的单个子模块的优势。

    Apr, 2020

  • 一个稀疏约束的优化方案，用于3D人体姿势与形态估计的复兴

    该研究提出了一种新颖的基于稀疏约束的3D人体姿态和形状估计方法，通过高效计算 Gauss-Newton 方向并利用优化问题的稀疏约束性质，将优化时间缩短到4ms左右，并成功地将其应用于单张图像的实时运动捕捉领域。

    May, 2021

  • TEMPO: 高效的多视角姿势估计、跟踪和预测

    TEMPO是一种高效的多视角姿势估计模型，通过学习稳健的时空表示，提高了姿势准确性，同时还能跟踪和预测人体姿势。该模型通过循环计算个人的二维姿势特征，将空间和时间信息融合成一种表示，并利用时空上下文预测更准确的人体姿势，同时保持高效性。该模型能够跨数据集泛化而无需场景特定微调，达到了相比TesseTrack在具有挑战性的CMU Panoptic Studio数据集上MPJPE提升10%，帧率提升33倍的效果。

    Sep, 2023

  • 增强时空上下文：单目视频中具有时态一致性的稳健3D人体动作恢复

    提出了一种从单眼视频中恢复时间一致的3D人体姿势、形状和动作的方法，通过使用具有身体感知特征表示和独立的逐帧姿势和相机初始化，结合自相似性和自注意力等技术进行时空特征聚合，该方法提供了增强的时空上下文，可在各种复杂场景下得到更准确的姿势估计和形状重建。

    Nov, 2023