Nov, 2021

通过运动频率指导探索人类运动的多功能先验

PDF
TL;DR本文提出了一种学习人类动作运动先验的框架，其中包括全局方向归一化、两级频率指导和去噪训练等步骤，可以生成一致且可区分的表达，并嵌入到流行的模型中提高其多样性和有效性。
motion priorhuman motionrepresentation learningfrequency guidancedenoising training
发现论文，激发创造
  • 利用视频中的运动先验来改善人体分割

    应用深度学习的卷积神经网络，结合运动先验信息，通过弱监督主动学习方法对图像中的人体进行分割，同时采用领域自适应方法提高了算法的性能。

    Jul, 2018

  • PACE：野外视频中人体和摄像机运动的估计

    通过结合人体运动先验知识和场景特征，提出了一种估计全局场景下人体运动的联合优化框架，该方法在人体和相机运动估计方面相较于现有方法有显著的改进。

    Oct, 2023

  • 通过对抗训练的分解人体动作先验用于视频姿态估计

    通过将运动先验以对抗的方式整合进来，本文针对神经网络模型在人体姿态回归中要求对身体运动先验的作用进行了探索和研究，并证明了该算法在 3D 领域中具有较高的鲁棒性和准确性。

    May, 2023

  • 学习 3D 场景中 4D 人体捕捉的动作先验

    本研究提出了一种名为 LEMO 的人体运动先验方法来从单目视频中恢复复杂场景中高质量的 3D 人体运动，该方法利用大规模运动捕捉数据集 AMASS，引入了一种新的运动平滑性先验，可大大减少序列中出现的姿态抖动，并通过自监督学习获得了接触和遮挡感知的运动插值器和接触摩擦项。结果显示，LEMO 方法可用于 4D 人体捕获，恢复流畅运动和物理合理的人体 - 场景交互。

    Aug, 2021

  • 通过迭代优化实现准确的人体动作预测

    本文提出了一种名为 FreqMRN 的人体运动预测框架，它考虑了人体的运动动力结构和运动的时间平滑性质，并通过生成运动历史摘要和使用空间 - 时间感知、速度感知和全局平滑感知损失函数迭代优化来实现精确的短期和长期人体运动预测。

    May, 2023

  • 通过跨模态流形对齐从单眼视频学习人类动作

    该论文介绍了通过视频和 2D 关键点之间的跨模态潜在特征空间对三维人体运动和 2D 输入之间进行运动先验对齐的 Video-to-Motion Generator (VTM)，该方法通过将运动数据分别建模为上半身和下半身，以及使用尺度不变的虚拟骨架与运动数据对齐，展示了在重建单目视频中的三维人体运动方面具有领先水平的表现，尤其是在未见过的视角和野外视频中的泛化能力。

    Apr, 2024

  • 揭示人类动作模式：基于模式记忆的扩散模型的轨迹预测

    基于记忆的 Motion Pattern Priors Memory Network 方法通过构建从训练集轨迹中观察到的运动模式的聚类先验知识构成的记忆库，并引入地址机制来检索匹配的模式和每个预测的潜在目标分布，从而使得在真实世界场景中的不确定性下，准确地预测人类行为轨迹成为可能。

    Jan, 2024

  • Motion-DVAE: 快速人体运动去噪的无监督学习

    Motion-DVAE 是一种用于捕捉人类动作的短期依赖项的动作先验，与 Motion-DVAE 配套使用的是一种无监督学习去噪方法来进行实时三维人体姿势估计。

    Jun, 2023

  • 使用 VAEs 的任务通用分层人体动作先验

    本研究提出了一种新的深度生成模型，利用组合的全局和局部潜空间进行粗细粒度建模，独立于特定任务地学习复杂的人体运动，并在视频中基于人体姿态估计、运动捕捉系统中模拟完整的身体运动并进行可信的关键帧动画辅助。该通用的人体运动模型可以修复损坏的人体动画，从不完整的观察中生成完整的运动。

    Jun, 2021

  • 基于神经分类先验的基于物理的角色控制

    提出了一种新的学习框架，利用离散信息瓶颈和强化学习来控制基于物理的角色，从而实现显著改善运动质量和多样性。

    Aug, 2023