Sep, 2023

通过可区分的硬件模型代理使用强化学习的设计协同优化（MORPH）

PDF
TL;DR我们介绍了一种使用强化学习在模拟中对硬件设计参数和控制策略进行联合优化的方法 MORPH。MORPH 依赖于被优化的硬件模型，通常是基于物理定律进行模拟，为了有效地集成此类模型，我们引入了一个可微分的代理硬件模型，通过 RL 可以有效地进行联合优化，保证优化后的代理硬件尽可能接近真实情况，同时实现任务完成。我们在模拟的 2D 触及和 3D 多指操纵任务上展示了我们的方法。
发现论文，激发创造
  • 硬件作为策略：使用深度强化学习进行机械和计算协同优化

    本研究探讨了在统一强化学习框架中学习机器人硬件和控制参数的问题，提出了将机器人身体建模为 “硬件策略” 的方法，并通过自动可微的计算图优化硬件策略与计算策略；最后通过设计两个实例并将学习到的参数用于物理建模，证明了该方法的有效性。

    Aug, 2020

  • 基于程序综合的混合优化强化学习方法

    本论文提出一种 MORL 的框架，通过程序合成技术实现对基于神经网络的黑箱模型深度强化学习策略的改进，得到符号表示形式，使其可以被手动或自动调试，经过行为克隆和梯度下降法的改进，不断迭代直到满足所需约束，在 CartPole 问题上的实例研究表明该方法能够进行高效的策略学习改进。

    Jul, 2018

  • 基于深度强化学习的形态和行为数据高效协同适应

    本文提出了一种基于深度强化学习和软演员 - 评论家算法的全新方法：将机器人形态与其控制器自动高效地协同适应，以降低试验形态与行为的数量，并使用先前测试过的形态和行为来估计新候选形态的性能，该方法在真实世界中实现机器人设计的协同适应尤为适用。

    Nov, 2019

  • DittoGym: 学习控制柔性变形机器人

    机器人共同设计是一个新兴的研究领域，尤其在软体机器人方面有巨大应用潜力，本文提出了一种基于增强学习的高维度算法来控制软体机器人的形态变化，同时引入了一个 RL 基准，展示了通过该算法使机器人在序列中多次改变形态的方法。

    Jan, 2024

  • Task2Morph: 基于差异化的任务引发框架的接触感知机器人设计

    该论文提出了一种新颖且通用的可微分任务驱动的机器人设计框架 Task2Morph，将任务特性与形态映射相结合，并将其嵌入到可微分的机器人设计过程中，通过使用梯度信息进行映射学习和整体优化，实验证明 Task2Morph 在效率和效果上优于缺乏任务驱动形态模块的 DiffHand。

    Mar, 2024

  • AnyMorph: 通过推断智能体形态学学习可迁移策略

    提出了一种基于数据驱动的方法，学习了一种直接表示动物形态的表示法，即使没有先前动物形态的描述信息，也可以训练出泛化到新动物形态的策略，实现了对新动物形态的零样本学习。

    Jun, 2022

  • 基于形态环境共进化的课程强化学习

    通过 “形态环境共同进化（MECE）” 优化强化学习代理和形态，使其能够自动适应不断变化的环境，从而在不同环境中实现更好的泛化性能。

    Sep, 2023

  • 通过上下文调节实现通用形态控制

    该论文提出了一种分层架构，通过上下文调节来更好地模拟机器人控制策略对其形态上下文的依赖关系，其中包括两个关键子模块：（1）使用超网络生成依赖形态的控制参数；（2）提出了一种形态依赖性的注意机制来调节机器人不同肢体之间的交互。实验结果表明，该方法不仅改善了各种训练机器人的学习性能，还以零样本方式更好地推广到未见过的形态。

    Feb, 2023

  • 强化学习用于自由形态机器人设计

    受动物形态适应的必要性的启发，一系列工作试图拓展机器人训练，以涵盖机器人设计的物理方面。然而，目前只有旋转或调整既定和静态拓扑属的肢体的强化学习方法。本文展示了一种设计具有任意外部和内部结构的自由形态机器人的策略梯度方法，通过使用放置或移除原子建筑块束以形成高级非参数宏结构，如附件、器官和腔室。尽管仅提供了开环控制的结果，但我们讨论了如何将该方法改进为闭环控制，并在未来实现从模拟到真实物理机器的转移。

    Oct, 2023

  • 机体机器形态与控制可扩展共同优化

    该研究探讨并展现了一种新的技术 ——“形态创新保护”，可协同优化机器人的结构和控制策略并避免局部最优解来提高机器人的行为性能，促进了自动化机器人设计和行为训练，同时为研究实体认知理论提供了实验检验的平台。

    Jun, 2017