Nov, 2022
CPG-RL：四足动物步态中枢模式生成器的学习
CPG-RL: Learning Central Pattern Generators for Quadruped Locomotion
Guillaume Bellegarda, Auke Ijspeert
TL;DR本文提出了一种方法，将中心模式发生器（CPG），即振荡器系统，整合到深度强化学习（DRL）框架中，以产生稳健且全向的四足动物运动。模型直接调制内在振荡器设定点的振幅和频率，以及协调不同振荡器间的节律性行为，并可以使用 DRL 探索神经科学相关问题的答案，例如下行途径、振荡器间的耦合和步态生成中的感觉反馈。我们在模拟运用中训练了政策，然后进行 sim-to-real 转移至 Unitree A1，其中我们发现模型行为的鲁棒性优于训练时未见过的干扰，最重要的是动态添加的 13.75 公斤的负载，代表着 115％的名义四足动物质量。我们测试了几种基于本体感官的观察空间，并展示了我们的框架可以在没有任何领域随机化和非常少的反馈的情况下进行部署，它可以提供振荡器状态和触点布尔值。视频结果可在此 https URL 找到。