四足动物运动的分层强化学习

May, 2019

Hierarchical Reinforcement Learning for Quadruped Locomotion

Deepali Jain, Atil Iscen, Ken Caluwaerts

TL;DR本文介绍一种利用层次化框架实现四足机器人路径跟踪任务的方法，其中高层策略以潜在空间向低层策略发出指令，并控制其执行的时间，低层策略使用潜在指令和机器人传感器来控制机器人的执行器，以完成任务需求，同时可以实现训练后的低层策略的高效迁移，为实现端到端的层次化深度学习提供了理论支持。

Abstract

legged locomotion is a challenging task for learning algorithms, especially when the task requires a diverse set of primitive behaviors. To solve these problems, we introduce a hierarchical framework to automatic

legged locomotion hierarchical framework latent command path-following task end-to-end hierarchical learning

发现论文，激发创造

从像素到四肢：四足动物运动的分层学习

使用分层强化学习的方法，我们设计了一个四足机器人的策略网络，使之可以对复杂场景和地形进行动态腿部动作并同时处理视觉输入，体现障碍物回避和路径规划，此网络同时学习高层次神经网络策略和底层神经网络策略，达到相对于不分层的神经网络策略更高的学习效率。

Nov, 2020

基于学习的潜在动作空间规划的通用四肢行走

本篇论文介绍了一种全学习的层次化框架，可以同时学习低层控制器和高层潜在动作空间，并对多个机器人的运动进行泛化，并利用其学习的高级动力学模型，通过模型预测控制方法计划连续潜在动作，成功实现了多个任务和两个模拟器上的优越表现，并将其与基于反向运动学（IK）的运动规划方法进行比较。在 Daisy 六足机器人实验上，表现出了很好的稳健性和样本效率。

Aug, 2020

用于模拟四足机器人的分层式去中心化深度强化学习架构

本文探讨了分散式和分层式控制对于机器人运动控制的优劣，并提出一种新的架构作为解决方案，实验表明分层式并行控制更能够支持学习、节能、能适应未知环境并解决复杂目标任务。此外，本文还强调了分层结构中模块化设计的重要性。

Sep, 2022

使用四足机器人进行分层强化学习，掌握精确的足球射门技巧

本文提出了一种层次化的框架，利用深度强化学习使四足机器人能够在现实世界中执行精确的射击技能，包括鲁棒的运动控制策略和运动规划策略，应用于 A1 四足机器人中，实现了将足球精确射向目标的目的。

Aug, 2022

通过操纵学习行走：在动态环境中的感知四足动力学

本文介绍了一个名为 PRELUDE 的层级学习框架，其中包括高层决策和低层步态生成。在该框架中，高层导航控制器用人类演示进行了模仿学习，而低层步态控制器则使用强化学习获得多样化的步态。该方法在仿真和硬件实验中表现出色。

Sep, 2022

为实现稳健高效的腿式运动而学习接触自适应控制器

本研究提出了一个层次框架，将基于模型的控制和强化学习相结合，为四足动物（Unitree Laikago）合成鲁棒控制器。通过学习选择一套原语响应环境中的变化，使其适应复杂的环境变化，并具有更高的能源效率和更强的鲁棒性。

Sep, 2020

在受限的三维空间中运用强化学习实现灵巧的腿部步行动力学

使用深度強化學習的運動控制器在克服具挑戰性的地形（如崎嶇的岩石、不規則的地面和滑溜的表面）上取得了令人印象深刻的快速和穩健的運動方面的最近突破。但是，相對較少的研究投入到透過狹窄隧道或不規則空洞等局限的 3D 空間中的腿部移動性，這些地方會強加整體限制。因此，我們提議從目標導向的過程中學習在局限的 3D 空間中的運動技能。通過將傳統計劃師負責規劃到達遠處全球目標位置的路徑點與透過生成低層運動指令來跟隨這些路徑點的基於 RL 的策略結合，我們引入一種層次化的運動控制器來解決跟踪遠處導航目標的低效問題。在模擬中，我們的層次化方法成功地在具有挑戰性的局限的 3D 環境中導航，優於純粹的端到端學習方法和參數化的運動技能。我們還展示了在真實機器人上成功部署我們在模擬中訓練的控制器。

Mar, 2024

最小人力学习在现实世界中行走

使用深度强化学习中的多任务学习技术和安全控制框架在实际机器人系统中实现了自动学习四条腿机器人在三种不同地形上的步态。

Feb, 2020

学习四足动物在复杂地形上的步态

本研究基于神经网络的方法实现对四足动物的运动控制，采用自主提供的本体感觉信息，具有很强的普适性和鲁棒性，在模拟和自然环境中都有良好的表现，并在本次试验中优于以往的四足动物机器人，对未来的机器人研究具有大量的实践价值。

Oct, 2020

基于神经启发的层次强化学习在运动控制中的应用

通过仿效哺乳动物中央运动系统机制，我们提出了一种神经启发的分层强化学习算法，使得机器人能够学习丰富的运动技能并将其应用于复杂的任务环境中，而不依赖外部数据。

Nov, 2023