深度跟踪控制：用于多功能和鲁棒运动的基于模型规划和强化学习的统一方法

Sep, 2023

深度跟踪控制：用于多功能和鲁棒运动的基于模型规划和强化学习的统一方法

DTC: Deep Tracking Control -- A Unifying Approach to Model-Based Planning and Reinforcement-Learning for Versatile and Robust Locomotion

PDF

Fabian Jenelten, Junzhe He, Farbod Farshidian, Marco Hutter

TL;DR通过结合在线规划的预测能力和离线学习的内在稳健性，我们提出了一个混合控制架构，以同时实现更高的稳健性、脚步精确度和地形泛化。

Abstract

legged locomotion is a complex control problem that requires both accuracy and robustness to cope with real-world challenges. Legged systems have traditionally been controlled using trajectory optimization with i

legged locomotion trajectory optimization simulation-based reinforcement learning hybrid control architecture terrain generalization

发现论文，激发创造

DeepGait: 使用深度强化学习规划和控制四足步态

本文提出了一种新的神经网络政策训练技术，可用于在非平坦地形上的足式机器人的运动规划和控制。该方法结合了模型驱动的运动规划和强化学习的最新方法，并应用于一组包含挑战性地形场景的模拟测试中，证明了该方法的有效性。

Sep, 2019

四足机器人数据有效强化学习

本文提出了一种基于模型的机器人运动框架，在只采集 4.5 分钟（45,000 个控制步骤）的四足机器人数据的基础上实现了步行，通过引入跟踪多个时间步长上的模型预测的损失函数来准确地建模机器人的动力学，使学习到的模型可以进行实时控制，此方法比当前的无模型方法在样本效率上提高了一个数量级以上。

Jul, 2019

在受限的三维空间中运用强化学习实现灵巧的腿部步行动力学

使用深度強化學習的運動控制器在克服具挑戰性的地形（如崎嶇的岩石、不規則的地面和滑溜的表面）上取得了令人印象深刻的快速和穩健的運動方面的最近突破。但是，相對較少的研究投入到透過狹窄隧道或不規則空洞等局限的 3D 空間中的腿部移動性，這些地方會強加整體限制。因此，我們提議從目標導向的過程中學習在局限的 3D 空間中的運動技能。通過將傳統計劃師負責規劃到達遠處全球目標位置的路徑點與透過生成低層運動指令來跟隨這些路徑點的基於 RL 的策略結合，我們引入一種層次化的運動控制器來解決跟踪遠處導航目標的低效問題。在模擬中，我們的層次化方法成功地在具有挑戰性的局限的 3D 環境中導航，優於純粹的端到端學習方法和參數化的運動技能。我們還展示了在真實機器人上成功部署我們在模擬中訓練的控制器。

Mar, 2024

强化学习和基于模型的控制结合：使用按需最优控制学习多功能四足动态步态

本文提出了一种结合基于模型的最优控制与强化学习的动态、鲁棒的腿式 locomotion 的多功能控制方法；该方法成功地学习了控制策略，能够在模拟和硬件实验中生成不同的四足步态模式并保持稳定，并演示了该方法对于不太平的地形的适应性，无需过多的奖励设计或超参数调整。

May, 2023

多功能、动态和鲁棒的双足步行运动控制的强化学习

使用深度强化学习（RL）创建动态双足机器人的运动控制器的综合研究，包括开发可用于周期性行走、跑步、跳跃和站立等一系列动态双足技能的通用控制解决方案，该 RL 控制器采用新颖的双重历史架构，通过长期和短期的输入 / 输出（I/O）历史数据有效训练，并在模拟和实际世界的各种技能中始终表现优秀。

Jan, 2024

为实现稳健高效的腿式运动而学习接触自适应控制器

本研究提出了一个层次框架，将基于模型的控制和强化学习相结合，为四足动物（Unitree Laikago）合成鲁棒控制器。通过学习选择一套原语响应环境中的变化，使其适应复杂的环境变化，并具有更高的能源效率和更强的鲁棒性。

Sep, 2020

最小人力学习在现实世界中行走

使用深度强化学习中的多任务学习技术和安全控制框架在实际机器人系统中实现了自动学习四条腿机器人在三种不同地形上的步态。

Feb, 2020

基于强化学习的敏捷多功能双足机器人跟踪控制

基于模型基础的逆运动学求解器和强化学习，本文提出一种适用于双足机器人的多功能控制器，通过单一小型神经网络实现了踝关节和身体轨迹跟踪，能够在广泛的步态范围内完成这一任务。通过最小控制单元结合高级策略，可以实现高度灵活的步态控制，训练后的机器人能够自由地在不同距离和高度的目标支撑点之间移动，并且能够在维持静态平衡时调整姿势。实验结果证明了我们控制框架的有效性。

Apr, 2024

继续学习的腿式机器人：在现实世界中微调运动策略

该论文提出了一种基于强化学习的实际机器人强化学习系统，通过在现实世界中微调机器人运动策略的少量训练，实现了 A1 四足机器人在多种环境中自主微调多种运动技能的能力。

Oct, 2021

结合模型预测控制和预测强化学习实现稳定的四足机器人行走

本文研究了基于模型预测控制和强化学习控制器相结合的四足机器人稳定步态生成问题，并开发了一种融合了这两种方法的混合控制方法，其中采用一个以神经网络建模的 Q 函数形式的尾部成本算法来降低计算复杂度，并证明了我们的控制器在短时间内能够实现稳定步态，具有实时操作的能力。

Jul, 2023