Aug, 2020

通过动作压缩和细化实现 3D 人体运动估计

PDF
TL;DR本研究提出一种名为 MEVA 的基于自动编码器的运动压缩技术，将人类运动分解为平稳运动表示和通过运动细化学习的残差表示，从而捕捉人类运动的粗略整体动作和个人特定细节。实验结果表明，该方法产生了平稳和准确的 3D 人体姿态和运动估计。
3d human posemotion estimationmevaauto-encoderresidual representation
发现论文，激发创造
  • 使用 VAEs 的任务通用分层人体动作先验

    本研究提出了一种新的深度生成模型，利用组合的全局和局部潜空间进行粗细粒度建模，独立于特定任务地学习复杂的人体运动，并在视频中基于人体姿态估计、运动捕捉系统中模拟完整的身体运动并进行可信的关键帧动画辅助。该通用的人体运动模型可以修复损坏的人体动画，从不完整的观察中生成完整的运动。

    Jun, 2021

  • 从运动补偿序列中直接预测 3D 身体姿态

    本文提出了一种高效利用视频序列中连续帧运动信息来恢复人的三维姿态的方法，并通过回归边界框的时空体到中心帧的 3D 姿势来改进现有方法。同时，为了最大限度地发挥这种方法的潜力，本文阐明必须补偿连续帧中的运动，以使被测量者保持中心，从而能够有效地消除歧义并在 Human3.6m、HumanEva 和 KTH Multiview Football 3D 人体姿态估计基准测试中取得显著改进。

    Nov, 2015

  • Motion-DVAE: 快速人体运动去噪的无监督学习

    Motion-DVAE 是一种用于捕捉人类动作的短期依赖项的动作先验，与 Motion-DVAE 配套使用的是一种无监督学习去噪方法来进行实时三维人体姿势估计。

    Jun, 2023

  • MT-VAE: 学习运动变换以生成多模式人体动力学

    本文提出了一种新颖的动作序列生成方法 MT-VAE，它可以利用动作序列之间的转换关系，学习运动方式的特征嵌入和运动方式之间的特征变换，从而生成多样性且逼真的面部和全身运动，并展示了与类比运动传递和视频合成相关的应用。

    Aug, 2018

  • 多人三维姿态估计的压缩体积热力图

    本文提出了一种基于多层热力图压缩的深度学习模型，可在 8 fps 的运行时处理全高清 RGB 图像，用于多人和单人 3D 人体姿态估计。

    Apr, 2020

  • 基于物理的视频人体运动估计和合成

    通过单眼 RGB 视频直接训练具有物理可行性的人体运动的生成模型，该方法通过可微分的方式实现了物理约束和接触关系优化，并实现了与之前基于姿态识别的方法相比更高质量、更真实、更多样化的运动合成与估计。

    Sep, 2021

  • 基于 Transformer VAE 的带动作条件的 3D 人类动作合成

    本文介绍了一种运用 VAE 和 Transformer-Based 架构实现人体运动序列的有条件生成，以及改进行为识别和降噪等两种应用。

    Apr, 2021

  • Action2Motion: 条件化生成三维人体动作

    研究逆向行动识别问题，以给定的预设行动类型为条件，通过采用 Lie Algebra 理论和时序变分自编码器（VAE）来生成 3D 的逼真的人体运动序列，并保持多样性，实验评估证明了方法的有效性。

    Jul, 2020

  • MotionAug：结合物理校正的人体运动预测数据增强

    本文提出了一种运动数据增强方案，该方案融合了具有多样性的运动合成和强制物理合理性的运动修正。该方案使用了修改后的 VAE 和 IK 进行运动合成，使用物理仿真的模仿学习和后续运动去偏置等方式进行了运动校正。该方法在基于循环神经网络和图卷积网络的人体运动预测模型中比以往的基于噪声的运动增强方法表现更佳。

    Mar, 2022

  • 利用时间上下文对野外三维人体姿态估计进行改进

    该研究通过基于束调整的算法从单眼视频中恢复准确的 3D 人体姿势和网格，通过在整个序列上重建人体来提供额外的约束并解决歧义问题。同时，该研究提出了一个包含超过 3 百万帧来自 Kinetics 的 YouTube 视频数据集，能够提高 3D 运动估计的准确性，该算法具有实际意义。

    May, 2019