Dec, 2023

四足机器人在执行器退化场景中的自适应控制策略

PDF
TL;DR该论文引入一种基于强化学习的先导教师 - 学生框架，称为 Actuator Degradation Adaptation Transformer（ADAPT），旨在解决实际部署四足机器人上的问题。这个框架产生了一种统一的控制策略，使机器人能够在关节执行器突然故障的情况下维持其运动，并在依赖于内部传感器的情况下执行任务。对 Unitree A1 平台进行的实证评估验证了 ADAPT 在真实环境中对四足机器人的可部署性和有效性，并证实了我们方法的鲁棒性和实用性。
发现论文，激发创造
  • 为实现稳健高效的腿式运动而学习接触自适应控制器

    本研究提出了一个层次框架，将基于模型的控制和强化学习相结合，为四足动物（Unitree Laikago）合成鲁棒控制器。通过学习选择一套原语响应环境中的变化，使其适应复杂的环境变化，并具有更高的能源效率和更强的鲁棒性。

    Sep, 2020

  • 重新思考鲁棒性评估：基于学习的四足动力学控制器的对抗攻击

    通过串行对抗攻击来识别学习行动控制器的弱点，验证了即使是最先进的鲁棒控制器也可能在设计良好、低幅度的对抗序列下显著失败，并展示了该方法生成的结果如何用于加强原始策略并深入了解这些黑盒策略的安全性。

    May, 2024

  • Sim-to-Real: 四足机器人学习敏捷运动

    本文提出了一种利用深度强化学习技术自动化四足机器人运动设计过程的系统，能够从简单的奖励信号中学习四足运动，并可提供开环参考进行学习过程的控制，采用系统辨识来改进物理模拟器，利用物理环境随机与扰动设计控制器，并在物理模拟器中进行评估，成功在现实世界中部署。

    Apr, 2018

  • 面向四足机器人的连续强化学习

    四足机器人的持续学习方案探讨了在不同环境中顺序训练并评估其性能的能力，以洞察前向和后向技能传递的程度，以及机器人对先前获得技能的遗忘程度，以期提高其在真实场景中的适应性和性能。

    Nov, 2023

  • 四足机器人的对抗性联合攻击

    该研究针对被深度强化学习训练的腿式机器人关节执行器的对抗攻击进行了探讨，发现对执行器扭矩控制信号的对抗扰动会显著降低机器人的奖励并导致行走不稳定。作者使用黑盒对抗攻击策略，采用三种搜索方法在 OpenAI Gym 的环境下对四足机器人 Ant-v2 和双足机器人 Humanoid-v2 进行实验，证明差分进化方法可以高效地找到最强的扭矩扰动，并发现四足机器人 Ant-v2 容易受到对抗攻击的影响，而双足机器人 Humanoid-v2 相对稳定。因此，这种关节攻击可用于机器人步态不稳定的主动诊断。

    May, 2022

  • 使用决策变换器进行四足动物运动的微型强化学习

    我们提出了一种方法，将模仿学习应用于资源受限的机器人平台，通过将模仿学习问题视为条件序列建模任务，使用专家示范增强的自定义奖励训练决策变压器，并利用量化和修剪等软件优化方案压缩生成模型，在 Isaac Gym 仿真环境中验证了该方法，在资源受限的四足机器人 Bittle 上实现了自然步态，并通过多次模拟展示了修剪和量化对模型性能的影响，结果表明，量化（降至 4 位）和修剪可将模型大小减小约 30％，同时保持有竞争力的奖励，使模型可以在资源受限的系统中投入使用。

    Feb, 2024

  • 一种面向容错执行器的最优弹性规划模型

    机器人在组件故障的情况下需要调整其行为，以便在降低能力的条件下实现仍然可达的目标。我们在马尔可夫决策过程（MDP）框架中提出了在提前已知易受故障的执行机构的情况下进行规划的问题。该模型捕捉了基于利用驱动的故障和状态 - 动作相关的执行机构故障概率，以便推理潜在损伤和降低未来控制的长期影响。这导致了与忽略故障的计划有质的差异的行为。随着执行机构的故障，可能会出现组合数目众多的配置。我们识别出通过重用来节省计算的机会，利用不同配置产生密切相关问题的观察结果。我们的结果展示了如何获得战略解决方案，使机器人在故障发生时能够做出响应，例如谨慎地安排利用率以保留关键的执行机构。

    May, 2024

  • MTAC：基于层次强化学习的多足可适应地形控制器

    城市搜救和救援任务需要快速的第一反应，以减少生命和财产的损失。我们提出了一种多步态的地形自适应控制器（MTAC）来应对四足机器人在动态和崎岖地形环境中的挑战。通过使用层次强化学习的方法，我们证明了该方法在各种环境下的扩展性和计算时间与最先进方法相当。

    Nov, 2023

  • 快速学习四足动物在复杂地形上的敏捷奔跑

    使用无模型强化学习在仿真环境下训练的，基于镜像世界神经网络的四足机器人运动控制器具有极强的抗扰动性能和泛化能力，能够协调机器人的动作频率和运动速度，实现更加自然和合理的运动模式。

    Jul, 2022

  • 通过相位引导控制器学习四足机器人的自由步态转换

    本文提出了学习控制犬形四足机器人在各种步态下运动的框架，并通过强化学习算法解决了多任务学习的问题。使用四个独立的相位来描述步态发生器和控制策略之间的接口，使用该控制策略，黑豹四足机器人可以在自然环境下流畅、稳健地学习所有运动技能并遵循速度命令进行运动。

    Jan, 2022