Jul, 2024

大规模多地形深度强化学习中的超约束机动演化形态

PDF
TL;DR通过深度强化学习和进化形态学，本研究探索了一种新型的过约束机器的设计与学习，旨在开发具有卓越能量效率的现代机器人四肢设计。研究结果显示，相较于平面四肢，在不同地形上，包括地板、斜坡和楼梯，过约束四肢的运动更加高效，至少可节省 22% 的机械能量，在平地上的平均速度是平面四肢的 20% 更快。
fin-to-limb evolutionrobotic limbsconstraint-driven design intelligenceoverconstrained locomotiondeep reinforcement learning
发现论文，激发创造
  • 在受限的三维空间中运用强化学习实现灵巧的腿部步行动力学

    使用深度強化學習的運動控制器在克服具挑戰性的地形（如崎嶇的岩石、不規則的地面和滑溜的表面）上取得了令人印象深刻的快速和穩健的運動方面的最近突破。但是，相對較少的研究投入到透過狹窄隧道或不規則空洞等局限的 3D 空間中的腿部移動性，這些地方會強加整體限制。因此，我們提議從目標導向的過程中學習在局限的 3D 空間中的運動技能。通過將傳統計劃師負責規劃到達遠處全球目標位置的路徑點與透過生成低層運動指令來跟隨這些路徑點的基於 RL 的策略結合，我們引入一種層次化的運動控制器來解決跟踪遠處導航目標的低效問題。在模擬中，我們的層次化方法成功地在具有挑戰性的局限的 3D 環境中導航，優於純粹的端到端學習方法和參數化的運動技能。我們還展示了在真實機器人上成功部署我們在模擬中訓練的控制器。

    Mar, 2024

  • 学习四足动物在复杂地形上的步态

    本研究基于神经网络的方法实现对四足动物的运动控制，采用自主提供的本体感觉信息，具有很强的普适性和鲁棒性，在模拟和自然环境中都有良好的表现，并在本次试验中优于以往的四足动物机器人，对未来的机器人研究具有大量的实践价值。

    Oct, 2020

  • 约束进化体现神经智能的共同设计

    通过深度强化学习和进化算法以及用户控制相结合的方法，介绍了一种创新的协同设计方法，以形态属性和运动为自主移动代理提供良好的设计和行为。

    May, 2022

  • 强化学习用于自由形态机器人设计

    受动物形态适应的必要性的启发，一系列工作试图拓展机器人训练，以涵盖机器人设计的物理方面。然而，目前只有旋转或调整既定和静态拓扑属的肢体的强化学习方法。本文展示了一种设计具有任意外部和内部结构的自由形态机器人的策略梯度方法，通过使用放置或移除原子建筑块束以形成高级非参数宏结构，如附件、器官和腔室。尽管仅提供了开环控制的结果，但我们讨论了如何将该方法改进为闭环控制，并在未来实现从模拟到真实物理机器的转移。

    Oct, 2023

  • 不仅有奖励还有约束：应用于四肢机器人的运动

    通过提出一种新颖的深度强化学习框架，我们展示了可用于训练复杂机器人系统的神经网络控制器，该框架通过引入约束条件减少了奖励工程的工作量，并实现了较高的任务绩效。

    Aug, 2023

  • 快速学习四足动物在复杂地形上的敏捷奔跑

    使用无模型强化学习在仿真环境下训练的，基于镜像世界神经网络的四足机器人运动控制器具有极强的抗扰动性能和泛化能力，能够协调机器人的动作频率和运动速度，实现更加自然和合理的运动模式。

    Jul, 2022

  • 用腿作为机械臂：推进四足动物的敏捷性超越运动

    该论文讨论了如何通过在模拟中训练四足机器人学习步行和使用前腿攀爬墙壁、按按钮、与物品交互等技能，并通过行为树将这些技能结合起来执行任务，并使用分阶段的课程和 sim2real 变体在现实世界中应用这些技能。

    Mar, 2023

  • 学习四肢机器人灵活动态技能

    通过在仿真中训练神经网络策略并将其转移到现实的四足动态平衡系统，研究创造了一种快速、自动且高效的数据生成方案，从而实现了在四足机器人技能方面的进一步提升。

    Jan, 2019

  • 使用强化学习和生成式预训练模型实现四足机器人的逼真敏捷和游戏

    通过使用动物和人类的知识来激发机器人创新，我们提出了一个框架，使四肢机器人能够在复杂环境中具备像真实动物一样的灵活性和策略。通过利用先进的深度生成模型产生模拟动物行为的运动控制信号，我们的方法通过预训练感知动物运动的生成模型，将原始知识保留并重复利用于环境适应性学习阶段，最终在复杂的下游任务中通过任务特定控制器解决任务，从而推动了机器人控制的前沿。

    Aug, 2023

  • 基于元强化学习的腿式机器人最优设计

    本文提出了一种基于模型无关元强化学习的设计优化框架，以及其应用于四足机器人运动学和执行器参数优化的方法，结果表明我们的元策略能够控制不同设计的机器人在多种复杂路况下实现随机速度命令的跟踪，而且相比于基于模型的基准线方法，我们的方法不受预定义动作或步态模式的约束，能够提供更高的性能。

    Oct, 2022