使用局部运动先验学习与环境的物理交互
提出了基于多智能体生成对抗模仿学习的新方法,可以模拟多个基于物理的角色之间的互动与动作,并保留内在风格,通过训练使每个角色模仿与其相关的互动技巧。已通过拳击和全身武术等两种不同战斗风格进行了测试。
Nov, 2023
通过开发一种特定于手部的生成运动先验,并采用潜在优化方法,在视频中实现了 3D 手部运动估计,提高了性能,并在遮挡情况下产生稳定、时间一致的结果,超过了传统的单帧方法。
Dec, 2023
利用 6 个惯性传感器,通过神经运动学估计器和物理感知运动优化器,实现身体运动的跟踪和重建,并在运动捕获精度、时间稳定性和物理正确性方面实现了极大的提高。
Mar, 2022
本文介绍了如何将动态运动原始 (Dynamic Movement Primitives) 重构为具有控制输入的概率线性动态系统。通过这种概率表示,本文显示了卡尔曼滤波和平滑等算法在执行期间对前感觉传感器测量进行推理的可直接应用。我们进一步展示了推理如何通过反馈项自动调节 DMP 的执行,并测量成功执行给定运动基元的可能性。在这种情况下,我们展示了使用概率模型在模拟运动基元数据集中检测执行失败的初步结果。
Dec, 2016
通过将运动先验以对抗的方式整合进来,本文针对神经网络模型在人体姿态回归中要求对身体运动先验的作用进行了探索和研究,并证明了该算法在 3D 领域中具有较高的鲁棒性和准确性。
May, 2023
利用对抗性模仿学习的方法自动选择带有无结构动作片段数据集的物理模拟角色的行为,无需手动设计仿制目标和运动选择机制。该方法在训练对抗性运动先验的同时也自动选择要执行的运动,并能够轻松地适应大型的无结构运动片段数据集,且不需要高级运动规划器或其他任务特定的运动片段注释。在一系列的模拟案例和挑战性的运动控制任务中,我们展示了其有效性。
Apr, 2021
本论文提出了一种名为可组合的基于部件的操纵(CPM)的新方法,通过利用物体部件分解和部件间对应关系,以提高机器人操纵技能的学习和概括能力。通过考虑物体部件之间的功能对应关系,我们将功能性动作(如倾倒和约束放置)概念化为不同对应约束的组合。CPM 包括一系列可组合扩散模型,其中每个模型捕捉了不同物体间的对应关系。这些扩散模型可以根据特定的物体部件生成操作技能的参数。利用基于部件的对应关系以及将任务分解为不同约束能够实现对新对象和对象类别的强大概括。我们在模拟和真实环境下验证了我们的方法,并展示了它在实现稳健且广义操纵能力方面的有效性。
May, 2024
本研究提出了一种名为 LEMO 的人体运动先验方法来从单目视频中恢复复杂场景中高质量的 3D 人体运动,该方法利用大规模运动捕捉数据集 AMASS,引入了一种新的运动平滑性先验,可大大减少序列中出现的姿态抖动,并通过自监督学习获得了接触和遮挡感知的运动插值器和接触摩擦项。结果显示,LEMO 方法可用于 4D 人体捕获,恢复流畅运动和物理合理的人体 - 场景交互。
Aug, 2021
通过多任务学习的方法,建立主任务与辅助任务并实现参数空间对齐和类别对齐的对齐策略,解决行人图像中的人体部位对齐问题,实现从部位通道提取语义对齐的部分级特征,且代码已开源。
Mar, 2020