Oct, 2023

多种四足机器人的单一运动控制策略学习

PDF
TL;DR通过从动物运动控制中获得灵感，我们展示了训练一种有效的单个运动策略，能够控制多样的四足机器人，该策略通过调节中央模式发生器（CPG）的频率和振幅来产生节奏输出，并将其映射到模式形成（PF）层，从而在不同机器人之间仅调整缩放参数以适应步幅高度和长度，我们还检验了此策略在 Unitree Go1 和 A1 机器人上的模拟到实际转移性能，甚至在增加相当于 A1 机器人额定质量的 125% 负载情况下仍然表现良好。
locomotion policyquadruped robotsmotor controlcentral pattern generatorsim-to-real transfer
发现论文，激发创造
  • Sim-to-Real: 四足机器人学习敏捷运动

    本文提出了一种利用深度强化学习技术自动化四足机器人运动设计过程的系统，能够从简单的奖励信号中学习四足运动，并可提供开环参考进行学习过程的控制，采用系统辨识来改进物理模拟器，利用物理环境随机与扰动设计控制器，并在物理模拟器中进行评估，成功在现实世界中部署。

    Apr, 2018

  • 机器人运动的 DeepCPG 策略

    本研究利用中央模式生成器（CPGs）构建深度强化学习的 DeepCPG 策略层来实现多腿机器人的行走行为，证明其在高维传感器空间中具有实验有效性，并进一步通过模块化机器人和多智能体深度强化学习的方法来推广其应用，展示了生物学原理所建立的更高智能系统的潜在革命性应用。

    Feb, 2023

  • 快速学习四足动物在复杂地形上的敏捷奔跑

    使用无模型强化学习在仿真环境下训练的，基于镜像世界神经网络的四足机器人运动控制器具有极强的抗扰动性能和泛化能力，能够协调机器人的动作频率和运动速度，实现更加自然和合理的运动模式。

    Jul, 2022

  • 走这些路：通过多重行为调整机器人控制以实现泛化

    提出了一种结构化家族的行动策略来解决驱动训练任务和应对新任务，并发布了一个快速、稳健、开源的 MoB 行动控制器，“为 Walk These Ways”。

    Dec, 2022

  • CPG-RL：四足动物步态中枢模式生成器的学习

    本文提出了一种方法，将中心模式发生器（CPG），即振荡器系统，整合到深度强化学习（DRL）框架中，以产生稳健且全向的四足动物运动。模型直接调制内在振荡器设定点的振幅和频率，以及协调不同振荡器间的节律性行为，并可以使用 DRL 探索神经科学相关问题的答案，例如下行途径、振荡器间的耦合和步态生成中的感觉反馈。我们在模拟运用中训练了政策，然后进行 sim-to-real 转移至 Unitree A1，其中我们发现模型行为的鲁棒性优于训练时未见过的干扰，最重要的是动态添加的 13.75 公斤的负载，代表着 115％的名义四足动物质量。我们测试了几种基于本体感官的观察空间，并展示了我们的框架可以在没有任何领域随机化和非常少的反馈的情况下进行部署，它可以提供振荡器状态和触点布尔值。视频结果可在此 https URL 找到。

    Nov, 2022

  • Polybot：在接纳变异性的同时，为多个机器人训练一个策略

    通过重新使用大型数据集，提出在多个机器人平台上训练单一策略的关键设计决策，通过对视觉和动作空间的对齐以及对内部表示的对齐来解决机器人平台之间的领域差异，验证了该方法在不同机器人上收集的新任务数据中成功率和样本效率的显著提升。

    Jul, 2023

  • 通过相位引导控制器学习四足机器人的自由步态转换

    本文提出了学习控制犬形四足机器人在各种步态下运动的框架，并通过强化学习算法解决了多任务学习的问题。使用四个独立的相位来描述步态发生器和控制策略之间的接口，使用该控制策略，黑豹四足机器人可以在自然环境下流畅、稳健地学习所有运动技能并遵循速度命令进行运动。

    Jan, 2022

  • 学习四肢机器人灵活动态技能

    通过在仿真中训练神经网络策略并将其转移到现实的四足动态平衡系统，研究创造了一种快速、自动且高效的数据生成方案，从而实现了在四足机器人技能方面的进一步提升。

    Jan, 2019

  • 深度全身控制：学习一体化的操作和运动策略

    提出使用增强学习学习整体控制策略来实现对四肢机器人的控制，以解决四肢协调和模块间错误传播的问题，该统一策略可在多种任务设置中展示动态和敏捷行为。

    Oct, 2022

  • 学习四足动物在复杂地形上的步态

    本研究基于神经网络的方法实现对四足动物的运动控制，采用自主提供的本体感觉信息，具有很强的普适性和鲁棒性，在模拟和自然环境中都有良好的表现，并在本次试验中优于以往的四足动物机器人，对未来的机器人研究具有大量的实践价值。

    Oct, 2020