机器人运动的 DeepCPG 策略
本文提出了一种方法，将中心模式发生器（CPG），即振荡器系统，整合到深度强化学习（DRL）框架中，以产生稳健且全向的四足动物运动。模型直接调制内在振荡器设定点的振幅和频率，以及协调不同振荡器间的节律性行为，并可以使用 DRL 探索神经科学相关问题的答案，例如下行途径、振荡器间的耦合和步态生成中的感觉反馈。我们在模拟运用中训练了政策，然后进行 sim-to-real 转移至 Unitree A1，其中我们发现模型行为的鲁棒性优于训练时未见过的干扰，最重要的是动态添加的 13.75 公斤的负载，代表着 115％的名义四足动物质量。我们测试了几种基于本体感官的观察空间，并展示了我们的框架可以在没有任何领域随机化和非常少的反馈的情况下进行部署，它可以提供振荡器状态和触点布尔值。视频结果可在此 https URL 找到。
Nov, 2022
本文提出一种基于多个混沌 CPGs 与学习机制的自适应运动策略，用于处理腿部腿部功能失调的情况下的六足机器的运动问题。结果表明，相较于单个 CPG，使用多个 CPG 的性能更优， 恰当的设置机械腿的摆动频率可以实现机器人的自适应运动控制。
Jul, 2014
该研究利用深度强化学习模型探究了脊髓中央模式生成器和大脑上行信号在四足动物的前瞻性动作中的相互作用，结果表明，直接上行信号对准确越过空隙具有重要作用，而脊髓中央模式生成器动力学对于步态平稳性和能量效率也有益处。
Feb, 2023
通过从动物运动控制中获得灵感，我们展示了训练一种有效的单个运动策略，能够控制多样的四足机器人，该策略通过调节中央模式发生器（CPG）的频率和振幅来产生节奏输出，并将其映射到模式形成（PF）层，从而在不同机器人之间仅调整缩放参数以适应步幅高度和长度，我们还检验了此策略在 Unitree Go1 和 A1 机器人上的模拟到实际转移性能，甚至在增加相当于 A1 机器人额定质量的 125% 负载情况下仍然表现良好。
Oct, 2023
本文提出了一种新的神经网络政策训练技术，可用于在非平坦地形上的足式机器人的运动规划和控制。该方法结合了模型驱动的运动规划和强化学习的最新方法，并应用于一组包含挑战性地形场景的模拟测试中，证明了该方法的有效性。
Sep, 2019
本文提出了一种利用简单策略调制轨迹生成器的体系结构，通过深度强化学习和进化策略学习出具有可控行为的四足机器人运动，实现了从 IMU 观测数据中控制速度的步态诱导。
Oct, 2019
使用深度強化學習的運動控制器在克服具挑戰性的地形（如崎嶇的岩石、不規則的地面和滑溜的表面）上取得了令人印象深刻的快速和穩健的運動方面的最近突破。但是，相對較少的研究投入到透過狹窄隧道或不規則空洞等局限的 3D 空間中的腿部移動性，這些地方會強加整體限制。因此，我們提議從目標導向的過程中學習在局限的 3D 空間中的運動技能。通過將傳統計劃師負責規劃到達遠處全球目標位置的路徑點與透過生成低層運動指令來跟隨這些路徑點的基於 RL 的策略結合，我們引入一種層次化的運動控制器來解決跟踪遠處導航目標的低效問題。在模擬中，我們的層次化方法成功地在具有挑戰性的局限的 3D 環境中導航，優於純粹的端到端學習方法和參數化的運動技能。我們還展示了在真實機器人上成功部署我們在模擬中訓練的控制器。
Mar, 2024
通过结合在线规划的预测能力和离线学习的内在稳健性，我们提出了一个混合控制架构，以同时实现更高的稳健性、脚步精确度和地形泛化。
Sep, 2023
本文介绍一种利用层次化框架实现四足机器人路径跟踪任务的方法，其中高层策略以潜在空间向低层策略发出指令，并控制其执行的时间，低层策略使用潜在指令和机器人传感器来控制机器人的执行器，以完成任务需求，同时可以实现训练后的低层策略的高效迁移，为实现端到端的层次化深度学习提供了理论支持。
May, 2019