使用跨模态转换器端到端学习视觉引导下的四足机器人运动

Jul, 2021

使用跨模态转换器端到端学习视觉引导下的四足机器人运动

Learning Vision-Guided Quadrupedal Locomotion End-to-End with Cross-Modal Transformers

Ruihan Yang, Minghao Zhang, Nicklas Hansen, Huazhe Xu, Xiaolong Wang

TL;DR我们提出了一种使用基于 Transformer 的模型从配 proprioceptive 信息和高维度深度传感器输入中学习的强化学习（RL）来解决四足动物行走任务的方法。

Abstract

We propose to address quadrupedal locomotion tasks using Reinforcement Learning (RL) with a Transformer-based model that learns to combine proprioceptive information and high-dimensional depth sensor inputs. While learning-based locomotion has made great advances using RL, most methods still rely on domain randomization for training blind agents that general

reinforcement learning transformers proprioception visual sensory observations locomotion control

发现论文，激发创造

快速学习四足动物在复杂地形上的敏捷奔跑

使用无模型强化学习在仿真环境下训练的，基于镜像世界神经网络的四足机器人运动控制器具有极强的抗扰动性能和泛化能力，能够协调机器人的动作频率和运动速度，实现更加自然和合理的运动模式。

Jul, 2022

学习四足动物在复杂地形上的步态

本研究基于神经网络的方法实现对四足动物的运动控制，采用自主提供的本体感觉信息，具有很强的普适性和鲁棒性，在模拟和自然环境中都有良好的表现，并在本次试验中优于以往的四足动物机器人，对未来的机器人研究具有大量的实践价值。

Oct, 2020

Sim-to-Real: 四足机器人学习敏捷运动

本文提出了一种利用深度强化学习技术自动化四足机器人运动设计过程的系统，能够从简单的奖励信号中学习四足运动，并可提供开环参考进行学习过程的控制，采用系统辨识来改进物理模拟器，利用物理环境随机与扰动设计控制器，并在物理模拟器中进行评估，成功在现实世界中部署。

Apr, 2018

四足机器人运动的扭矩控制学习

本研究探索了一种基于扭矩的强化学习框架，此模型成功验证了对于模型控制四足动物而言，相较于基于位置的强化学习方法，基于扭矩的强化学习方法能够产生更好的奖励和更强的抗干扰能力，并能够使四足动物在各种地形上移动，是关于四足机器人端到端学习扭矩控制的首次模拟到实际应用的尝试。

Mar, 2022

学习跨模态监督下的视觉机动技能

本文介绍了利用单个 RGB 摄像机和自我感知来学习视觉行走策略的方法，提出了一种新的算法 Cross-Modal Supervision (CMS) 用于预测未来的地形和监督视觉模块，模型仅需要不到 30 分钟的现实场景训练即可在包括楼梯、滑坡、路边石和高阶梯等多种复杂地形上良好工作。

Nov, 2022

通过操纵学习行走：在动态环境中的感知四足动力学

本文介绍了一个名为 PRELUDE 的层级学习框架，其中包括高层决策和低层步态生成。在该框架中，高层导航控制器用人类演示进行了模仿学习，而低层步态控制器则使用强化学习获得多样化的步态。该方法在仿真和硬件实验中表现出色。

Sep, 2022

OptiState: 采用具有基于 Transformer 的视觉和卡尔曼滤波的门控网络对四足机器人进行状态估计

通过在四足机器人上评估，我们提出了一种混合解决方案，通过结合本体感知和外部感知信息，利用 Kalman 滤波、优化和基于学习的模态，对机器人躯干状态进行估计，从而实现准确的机器人状态估计，并减少传感器测量和模型简化带来的非线性误差。

Jan, 2024

识别学习运动技能的重要感觉反馈

使用深度强化学习，通过神经网络作为状态 - 动作映射，通过量化分析系统显著性分析来确定机器人学习的关键状态以实现迈步技能学习，其中包括平衡恢复，慢跑，奔跑，步态和奔跑。

Jun, 2023

从示范中学习视觉四足机器人的运动和操作技能

四足机器人在人类环境中的逐渐整合以及与实际场景中物体的互动通过将运动 - 操纵过程分解为低层次的强化学习和高层次的行为克隆，我们使得四足机器人能够仅使用其腿部完成现实世界的操纵任务，并通过模拟和实际实验验证了我们的方法。

Mar, 2024

弹性的腿式本地导航：学会利用受损感知进行端到端地穿越

自主机器人在未知环境中可靠导航，即使在外部感知出现故障时，或者感知算法由于有限泛化能力而对场景进行错误解释时也是如此。本文将感知故障建模为不可见的障碍物和坑洞，并训练了基于强化学习的本地导航策略来引导四足机器人，在受损感知的情况下对感知故障进行端到端的环境重建和响应。

Oct, 2023