Feb, 2024

基于物理模拟的运动模仿推进单目视频步态分析

PDF
TL;DR使用智能手机获取视频进行步态分析可以揭示许多临床机会以检测和量化步态障碍。然而，现有视频估计步态参数的方法可能产生不符合物理规律的结果。为了解决这个问题，我们使用强化学习训练一个策略来控制人类运动的物理模拟，以复制视频中观察到的运动。这样可以强制推断的运动具有物理可行性，同时提高步幅和步行速度的准确性。
发现论文，激发创造
  • 通过对抗性模仿从动作捕捉学习人类行为

    本文介绍应用生成对抗性模仿学习方法，通过有限的高维仿人体运动演示数据，训练神经网络策略以产生类人的运动模式，并利用该方法构建子技能策略解决高维身体姿态控制任务。

    Jul, 2017

  • 基于物理的视频人体运动估计和合成

    通过单眼 RGB 视频直接训练具有物理可行性的人体运动的生成模型，该方法通过可微分的方式实现了物理约束和接触关系优化，并实现了与之前基于姿态识别的方法相比更高质量、更真实、更多样化的运动合成与估计。

    Sep, 2021

  • 利用基于物理的生物力学模拟进行步态数据增强

    本文介绍了一种基于 OpenSIM 的新型步态数据增强框架，通过仿真出符合人体行走生物力学约束的步态序列，增强 WBDS 和 CASIA-B 两个数据集，并在 3D 性别步态分类和 2D 步态个人识别中训练步态分类器，实验结果表明我们的增强方法可以提高基于模型的步态分类器的性能，使步态个人识别准确率达到最高 96.11％。

    Jul, 2023

  • 基于物理学的轨迹优化算法，从单目视频重建 3D 人体姿态

    本研究利用物理引擎对姿态估计过程进行改进，从而使得我们可以利用现实世界的场景推导出物体的运动。我们的公式具有广泛的应用场景，并可处理自身接触和与场景几何之间的接触。我们的方法在 Human3.6M 和 AIST 基准测试中均获得了与现有基于物理的方法相竞争的结果，同时不需要重新训练。

    May, 2022

  • 从视频中使用强化学习进行物理技能训练

    本研究提出了一种基于深度姿态估计和深度强化学习的方法，使得物理模拟的角色能够从公开视频片段中学习技能，并提供了一个快速设计角色控制器的方法，结果是鲁棒的，并能够适应新的环境并预测人类动作.

    Oct, 2018

  • 深度强化学习中的机械臂控制和抓取行为模仿

    本研究提出了一种采用 3D 人体姿态估计和强化学习相结合的新型运动模仿模型，通过将运动模仿转化为强化学习中的关节角度预测问题，从而极大减少了对大量训练数据的依赖，使得模型能够从仅有几秒钟的视频中学习模仿策略，并展现出强大的泛化能力。该项目可轻松地将人的手臂运动模仿到机械手臂上，表现出卓越的性能和稳健的迁移能力。

    May, 2024

  • 学习奔跑挑战：使用深度强化学习合成生理准确运动

    通过深度强化学习等优化方法，可以高效地探索大型和复杂的生物力学模型空间，进而实现合成可行的高维生物力学系统运动。

    Mar, 2018

  • 在 3D 场景中合成真实可行的人类动作

    构建了一个框架，通过分解人 - 场景交互为相互作用和导航两个基本过程，实现了在复杂的三维场景中进行长期交互任务的真实物理模拟角色。

    Aug, 2023

  • 人体姿态预测的模仿学习

    提出了一种新的基于增强学习的姿势预测模型，结合行为克隆和生成对抗学习，通过这种模型对未来的人体姿势进行预测，实验结果表明该模型在短期和长期预测方面优于现有方法。

    Sep, 2019

  • I-CTRL：基于约束强化学习的仿真控制人形机器人

    本文介绍了一种通过有约束的强化学习算法实现对双足机器人进行基于物理的高质量动作模仿的框架，强调将视觉和物理现实性相结合对于成功实现动作模仿的重要性。

    May, 2024