ICCVAug, 2021

学习 3D 场景中 4D 人体捕捉的动作先验

PDF
TL;DR本研究提出了一种名为 LEMO 的人体运动先验方法来从单目视频中恢复复杂场景中高质量的 3D 人体运动，该方法利用大规模运动捕捉数据集 AMASS，引入了一种新的运动平滑性先验，可大大减少序列中出现的姿态抖动，并通过自监督学习获得了接触和遮挡感知的运动插值器和接触摩擦项。结果显示，LEMO 方法可用于 4D 人体捕获，恢复流畅运动和物理合理的人体 - 场景交互。
3d human motionmonocular videoslemomotion smoothness priorbody-scene interactions
发现论文，激发创造
  • HMP：从视频中估计姿态和形状的手部运动先验

    通过开发一种特定于手部的生成运动先验，并采用潜在优化方法，在视频中实现了 3D 手部运动估计，提高了性能，并在遮挡情况下产生稳定、时间一致的结果，超过了传统的单帧方法。

    Dec, 2023

  • 我们不仅仅是我们的关节：预测 3D 身体如何运动

    本文提出了一种基于稀疏表面标记预测人体运动的方法，通过 MOJO 模型生成高频成分的动画，使用 SMPL-X 模型保证解决方案符合身体的真实形态，并取得了最先进的结果。

    Dec, 2020

  • 从视频中学习三维人体动力学

    通过观察人类运动的视觉序列，我们可以轻松猜测人在过去和未来的 3D 运动。我们提出了一个可以学习人类 3D 动力学表示的框架，通过简单而有效的图像特征时间编码。在测试过程中，学习到的时空表示能够预测具有平稳性的 3D 网格。我们的模型可以从单个图像中恢复当前的 3D 网格以及它未来和过去的 3D 运动，同时也可以通过半监督学习从带有 2D 姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练，通过已有的 2D 姿态检测器得到伪基础真值 2D 姿态，证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。

    Dec, 2018

  • 增强时空上下文：单目视频中具有时态一致性的稳健 3D 人体动作恢复

    提出了一种从单眼视频中恢复时间一致的 3D 人体姿势、形状和动作的方法，通过使用具有身体感知特征表示和独立的逐帧姿势和相机初始化，结合自相似性和自注意力等技术进行时空特征聚合，该方法提供了增强的时空上下文，可在各种复杂场景下得到更准确的姿势估计和形状重建。

    Nov, 2023

  • 从运动补偿序列中直接预测 3D 身体姿态

    本文提出了一种高效利用视频序列中连续帧运动信息来恢复人的三维姿态的方法，并通过回归边界框的时空体到中心帧的 3D 姿势来改进现有方法。同时，为了最大限度地发挥这种方法的潜力，本文阐明必须补偿连续帧中的运动，以使被测量者保持中心，从而能够有效地消除歧义并在 Human3.6m、HumanEva 和 KTH Multiview Football 3D 人体姿态估计基准测试中取得显著改进。

    Nov, 2015

  • HuMoR: 坚韧姿态估计的 3D 人体运动模型

    引入了 HuMoR：一种用于鲁棒估计时间姿态和形状的 3D 人体运动模型。该模型是一个表达能力强的条件变分自编码器生成模型，学习了运动序列每一步姿态变化的分布。通过灵活的优化方法，可以利用 HuMoR 运动先验知识从模糊的观察中鲁棒地估计出合理的姿态和形状。经过广泛的评估，证明我们的模型在大量运动捕捉数据集上训练后，可以推广到多样化的动作和身体形状，并且可以从多种输入模态（包括 3D 关键点和 RGB (-D) 视频）重建运动。

    May, 2021

  • PACE：野外视频中人体和摄像机运动的估计

    通过结合人体运动先验知识和场景特征，提出了一种估计全局场景下人体运动的联合优化框架，该方法在人体和相机运动估计方面相较于现有方法有显著的改进。

    Oct, 2023

  • 通过跨模态流形对齐从单眼视频学习人类动作

    该论文介绍了通过视频和 2D 关键点之间的跨模态潜在特征空间对三维人体运动和 2D 输入之间进行运动先验对齐的 Video-to-Motion Generator (VTM)，该方法通过将运动数据分别建模为上半身和下半身，以及使用尺度不变的虚拟骨架与运动数据对齐，展示了在重建单目视频中的三维人体运动方面具有领先水平的表现，尤其是在未见过的视角和野外视频中的泛化能力。

    Apr, 2024

  • 利用视频中的运动先验来改善人体分割

    应用深度学习的卷积神经网络，结合运动先验信息，通过弱监督主动学习方法对图像中的人体进行分割，同时采用领域自适应方法提高了算法的性能。

    Jul, 2018

  • 骨架先验的双人交互增强

    我们提出了一种新的深度学习方法，用于两个骨骼之间的运动增强，能够在保留两个身体之间的关键几何 / 拓扑关系的同时，生成不同身体大小和比例的接触丰富的互动的变化。我们的系统能够从相对少量的数据中有效学习，并且能够推广到截然不同的骨架尺寸。通过详尽的评估和比较，我们展示它可以生成高质量的运动，具有较强的通用性，并且优于传统的基于优化的方法和其他深度学习解决方案。

    Apr, 2024