CVPRMar, 2022

MotionAug：结合物理校正的人体运动预测数据增强

PDF
TL;DR本文提出了一种运动数据增强方案，该方案融合了具有多样性的运动合成和强制物理合理性的运动修正。该方案使用了修改后的 VAE 和 IK 进行运动合成，使用物理仿真的模仿学习和后续运动去偏置等方式进行了运动校正。该方法在基于循环神经网络和图卷积网络的人体运动预测模型中比以往的基于噪声的运动增强方法表现更佳。
motion data augmentationvariational autoencoderinverse kinematicsimitation learningmotion correction
发现论文，激发创造
  • 基于物理的视频人体运动估计和合成

    通过单眼 RGB 视频直接训练具有物理可行性的人体运动的生成模型，该方法通过可微分的方式实现了物理约束和接触关系优化，并实现了与之前基于姿态识别的方法相比更高质量、更真实、更多样化的运动合成与估计。

    Sep, 2021

  • 通过动作压缩和细化实现 3D 人体运动估计

    本研究提出一种名为 MEVA 的基于自动编码器的运动压缩技术，将人类运动分解为平稳运动表示和通过运动细化学习的残差表示，从而捕捉人类运动的粗略整体动作和个人特定细节。实验结果表明，该方法产生了平稳和准确的 3D 人体姿态和运动估计。

    Aug, 2020

  • 基于 Transformer VAE 的带动作条件的 3D 人类动作合成

    本文介绍了一种运用 VAE 和 Transformer-Based 架构实现人体运动序列的有条件生成，以及改进行为识别和降噪等两种应用。

    Apr, 2021

  • Motion-DVAE: 快速人体运动去噪的无监督学习

    Motion-DVAE 是一种用于捕捉人类动作的短期依赖项的动作先验，与 Motion-DVAE 配套使用的是一种无监督学习去噪方法来进行实时三维人体姿势估计。

    Jun, 2023

  • MT-VAE: 学习运动变换以生成多模式人体动力学

    本文提出了一种新颖的动作序列生成方法 MT-VAE，它可以利用动作序列之间的转换关系，学习运动方式的特征嵌入和运动方式之间的特征变换，从而生成多样性且逼真的面部和全身运动，并展示了与类比运动传递和视频合成相关的应用。

    Aug, 2018

  • HumanMAC: 用于人体动作预测的遮挡运动补全技术

    本文提出了一种基于去噪扩散的新框架，通过训练一个运动扩散模型来生成运动，然后通过去噪过程实现在观察到的运动条件下进行运动预测，并在现实任务中有效地实现了不同类别运动的切换，取得了良好的算法性能和结果。

    Feb, 2023

  • Action2Motion: 条件化生成三维人体动作

    研究逆向行动识别问题，以给定的预设行动类型为条件，通过采用 Lie Algebra 理论和时序变分自编码器（VAE）来生成 3D 的逼真的人体运动序列，并保持多样性，实验评估证明了方法的有效性。

    Jul, 2020

  • 基于物理引导的姿态概率建模的人体动作捕捉

    将物理学应用于人体动作捕捉以避免浮动、脚滑与地面穿透等问题，并利用物理学作为去噪引导来从建模的姿态概率分布中重构合理的人体动作，实验证明我们的方法在关节准确性和成功率上优于之前的基于物理的方法。

    Aug, 2023

  • 使用 VAEs 的任务通用分层人体动作先验

    本研究提出了一种新的深度生成模型，利用组合的全局和局部潜空间进行粗细粒度建模，独立于特定任务地学习复杂的人体运动，并在视频中基于人体姿态估计、运动捕捉系统中模拟完整的身体运动并进行可信的关键帧动画辅助。该通用的人体运动模型可以修复损坏的人体动画，从不完整的观察中生成完整的运动。

    Jun, 2021

  • T2M-GPT: 使用离散表示生成基于文本描述的人体动作

    本文研究了基于 VQ-VAE 和 GPT 的人体运动生成的条件生成框架，并表明了通过常用的训练配方（EMA 和 Code Reset），我们可以获得高质量的离散表示。此外，我们在训练期间采用了一种简单的损坏策略来缓解训练 - 测试偏差，并在 HumanML3D 数据集上表现出比竞争方法更好的性能。

    Jan, 2023