I-CTRL:基于约束强化学习的仿真控制人形机器人
本研究提出了一种采用 3D 人体姿态估计和强化学习相结合的新型运动模仿模型,通过将运动模仿转化为强化学习中的关节角度预测问题,从而极大减少了对大量训练数据的依赖,使得模型能够从仅有几秒钟的视频中学习模仿策略,并展现出强大的泛化能力。该项目可轻松地将人的手臂运动模仿到机械手臂上,表现出卓越的性能和稳健的迁移能力。
May, 2024
本文介绍应用生成对抗性模仿学习方法,通过有限的高维仿人体运动演示数据,训练神经网络策略以产生类人的运动模式,并利用该方法构建子技能策略解决高维身体姿态控制任务。
Jul, 2017
我们提出了一种能够在真实世界中让机器人产生丰富、多样和表现力强的动作的方法,通过在一个人型机器人上学习一个整体控制策略,尽可能地模仿人类的真实动作。通过在强化学习框架中利用图形社区的大规模人体动作捕捉数据来训练这种策略,但是直接使用动作捕捉数据集进行模仿学习可能无法适用于真实的人形机器人,因为在自由度和物理能力方面存在巨大差距。我们的方法(Exbody)通过鼓励上半身模仿参考动作,而放松对其两条腿的模仿约束,只要求它们能够稳定地跟随给定速度来解决这个问题。通过在模拟和实际场景中进行训练和仿真转移,我们的策略可以控制一个人形机器人以不同的风格行走,与人类握手,甚至与人类共舞。我们进行了广泛的研究和比较,展示了我们方法的有效性。
Feb, 2024
基于模型基础的逆运动学求解器和强化学习,本文提出一种适用于双足机器人的多功能控制器,通过单一小型神经网络实现了踝关节和身体轨迹跟踪,能够在广泛的步态范围内完成这一任务。通过最小控制单元结合高级策略,可以实现高度灵活的步态控制,训练后的机器人能够自由地在不同距离和高度的目标支撑点之间移动,并且能够在维持静态平衡时调整姿势。实验结果证明了我们控制框架的有效性。
Apr, 2024
使用深度强化学习(RL)创建动态双足机器人的运动控制器的综合研究,包括开发可用于周期性行走、跑步、跳跃和站立等一系列动态双足技能的通用控制解决方案,该 RL 控制器采用新颖的双重历史架构,通过长期和短期的输入 / 输出(I/O)历史数据有效训练,并在模拟和实际世界的各种技能中始终表现优秀。
Jan, 2024
本文提出了一种结合基于模型的最优控制与强化学习的动态、鲁棒的腿式 locomotion 的多功能控制方法;该方法成功地学习了控制策略,能够在模拟和硬件实验中生成不同的四足步态模式并保持稳定,并演示了该方法对于不太平的地形的适应性,无需过多的奖励设计或超参数调整。
May, 2023
早期研究旨在通过将人类动作领域中的关节位置序列转化为给定机器人能够实现且受其体现约束的动作领域,从而改进在线人机模仿技术。通过提出一个编码器 - 解码器神经网络模型进行领域转换,利用深度学习方法的泛化能力来解决这个问题。为了训练这样的模型,可以使用与机器人和人类动作相关联的配对数据,然而这样的数据在实践中非常稀少且收集费时。因此,我们转向了无配对领域转换的深度学习方法,并将其改进以实现人机模仿。
Jan, 2024
我们提出了一种无需力传感器训练的强化学习策略来实现直接力控制,展示了在四足机器人整体控制平台上通过变化的整体柔顺度实现的重力补偿和阻抗控制,使得人类通过操纵器件即可直观地远程操作机器人,从而实现多样化的运动与操纵任务,为四足机器人提供了学习整体力控制的首次实际部署,为更具多功能和适应性的四足机器人铺平了道路。
May, 2024
本研究提出了一个层次框架,将基于模型的控制和强化学习相结合,为四足动物(Unitree Laikago)合成鲁棒控制器。通过学习选择一套原语响应环境中的变化,使其适应复杂的环境变化,并具有更高的能源效率和更强的鲁棒性。
Sep, 2020
通过模仿学习,我们能够快速理解一个新任务,通过演示,我们可以直接获得哪些动作需要执行以及它们的目标的知识。本文介绍了一种新的模仿学习方法,解决了机器人模仿人类所面临的视角变化和身体模式等挑战。我们的方法可以利用单个人类演示来抽象展示任务的信息,并利用该信息进行泛化和复制。我们通过两种最先进的方法进行了新的集成:扩散式动作分割模型用于抽象演示的时间信息,以及开放词汇对象检测器用于空间信息。此外,我们通过符号推理来改进抽象的信息,并利用逆向运动学创建行动计划,以使机器人能够模仿演示的动作。
Jan, 2024