Sep, 2019

C-3PO: 循环三相优化的基于强化学习的人机动作复定向

PDF
TL;DR本文利用循环的三阶段优化算法基于深度强化学习技术来实现人机运动重新定向，通过精炼数据对其进行学习，提供了一种性能改进的框架。最终成功达到了人类骨架与多个机器人的运动重新定向技能。
motion retargetingkinematicsdeep reinforcement learninglatent spacehuman-robot interaction
发现论文，激发创造
  • 神经运动网络：无监督动作转移

    提出一种适用于无监督运动再目标化的递归神经网络架构，并使用前向运动学层和循环一致性的对抗性训练目标来捕捉输入运动的高级特征。

    Apr, 2018

  • 无监督动作转换用于人机模仿

    早期研究旨在通过将人类动作领域中的关节位置序列转化为给定机器人能够实现且受其体现约束的动作领域，从而改进在线人机模仿技术。通过提出一个编码器 - 解码器神经网络模型进行领域转换，利用深度学习方法的泛化能力来解决这个问题。为了训练这样的模型，可以使用与机器人和人类动作相关联的配对数据，然而这样的数据在实践中非常稀少且收集费时。因此，我们转向了无配对领域转换的深度学习方法，并将其改进以实现人机模仿。

    Jan, 2024

  • 2D 动作重定向中的跨字符动作学习

    本文提出了一种新的方法，通过使用神经网络从视频中提取人体运动的高级潜在表示的方法，实现了不需要显式重建三维姿态和 / 或相机参数的不同人类表演者之间的视频捕获运动的再定向。

    May, 2019

  • 通过对抗性模仿从动作捕捉学习人类行为

    本文介绍应用生成对抗性模仿学习方法，通过有限的高维仿人体运动演示数据，训练神经网络策略以产生类人的运动模式，并利用该方法构建子技能策略解决高维身体姿态控制任务。

    Jul, 2017

  • 基于表现性潜变空间的无监督人机动作转接

    利用深度学习方法实现人到机器人动作重定向，无需人与机器人动作数据对齐，构建共享的潜空间并进行机器人运动控制，通过简单线性插值生成中间动作，多种输入模态下的机器人控制全面评估，与现有工作相比，在增加自然人机沟通的能力和提升机器人融入日常生活的信任度方面展示了有效性。

    Sep, 2023

  • 串联表示循环：通过多次表示间的循环学习估计 3D 人体姿势和形状

    该研究旨在提出一种新的神经网络架构，实现在人体姿态和形状估计等问题上，不需 3D 标准化数据或轻度标准化数据的无监督或轻度监督学习。通过将问题拆分成一系列逐渐抽象化表示之间的转换步骤，每个步骤都是设计用于无注释训练数据而可学习的轮回。具体而言，我们使用 2D 身体部分分段作为中间表示，该表示包含足够的信息以被提升到 3D，并且同时足够简单，以用无监督的方式学习。我们尝试用未配对和未注释的图像学习 3D 人体姿态和形状，并探索各种不同数量的配对数据，并表明轮换显着减轻了配对数据的需求。

    Jan, 2020

  • 人体姿态预测的模仿学习

    提出了一种新的基于增强学习的姿势预测模型，结合行为克隆和生成对抗学习，通过这种模型对未来的人体姿势进行预测，实验结果表明该模型在短期和长期预测方面优于现有方法。

    Sep, 2019

  • 基于物理的稀疏输入运动重定向

    本研究提出了一种利用强化学习、物理模拟器和稀疏传感器数据实时将人类运动重定向到具有不同骨架结构的角色的方法，并仅需要运用运动捕捉数据进行培训，同时探讨了该框架中的重要组件。

    Jul, 2023

  • 学习复杂运动技能的开放式学习策略

    本文提出了一种 Enhanced Paired Open-Ended Trailblazer (ePOET) 和 Soft Actor-Critic 策略相结合的方法 (ePOET-SAC)，用于教授机器人在复杂三维环境下高效行走的复杂技能。实验结果表明，该方法可以成功地学习机器人在不同复杂地形上的运动技能。

    Jun, 2022

  • 深度强化学习中的机械臂控制和抓取行为模仿

    本研究提出了一种采用 3D 人体姿态估计和强化学习相结合的新型运动模仿模型，通过将运动模仿转化为强化学习中的关节角度预测问题，从而极大减少了对大量训练数据的依赖，使得模型能够从仅有几秒钟的视频中学习模仿策略，并展现出强大的泛化能力。该项目可轻松地将人的手臂运动模仿到机械手臂上，表现出卓越的性能和稳健的迁移能力。

    May, 2024