基于深度强化学习的形态和行为数据高效协同适应

Nov, 2019

基于深度强化学习的形态和行为数据高效协同适应

Data-efficient Co-Adaptation of Morphology and Behaviour with Deep Reinforcement Learning

Kevin Sebastian Luck, Heni Ben Amor, Roberto Calandra

TL;DR本文提出了一种基于深度强化学习和软演员 - 评论家算法的全新方法：将机器人形态与其控制器自动高效地协同适应，以降低试验形态与行为的数量，并使用先前测试过的形态和行为来估计新候选形态的性能，该方法在真实世界中实现机器人设计的协同适应尤为适用。

Abstract

Humans and animals are capable of quickly learning new behaviours to solve new tasks. Yet, we often forget that they also rely on a highly specialized morphology that co-adapted with motor control throughout thousands of years. Although compelling, the idea of co-adapting morphology and behaviours in robots is often unfeasible because of the long manufacturi

co-adaptation robot morphology deep reinforcement learning soft actor critic algorithm data-efficient

发现论文，激发创造

共同模仿：通过模仿学习设计和行为

本文提出了一种称为共同模仿的机器人协同适应问题的新视角，通过匹配演示者的状态分布，提出了一种共同模仿方法来适应行为和形态，使模仿者能够与演示者的行为密切匹配，并在模拟人形机器人上演示了对人类行走、慢跑和踢球技能的共同模仿。

Sep, 2022

机体机器形态与控制可扩展共同优化

该研究探讨并展现了一种新的技术 ——“形态创新保护”，可协同优化机器人的结构和控制策略并避免局部最优解来提高机器人的行为性能，促进了自动化机器人设计和行为训练，同时为研究实体认知理论提供了实验检验的平台。

Jun, 2017

任意机器人形态的控制器架构和学习机制比较

通过实验证明，网络控制器与进化算法、强化学习等学习方法的组合对于形态演化机器人的性能、效率和稳定性有重要影响。

Sep, 2023

DittoGym: 学习控制柔性变形机器人

机器人共同设计是一个新兴的研究领域，尤其在软体机器人方面有巨大应用潜力，本文提出了一种基于增强学习的高维度算法来控制软体机器人的形态变化，同时引入了一个 RL 基准，展示了通过该算法使机器人在序列中多次改变形态的方法。

Jan, 2024

学习设计和使用机器人操纵工具

通过深度学习和强化学习相结合的方法，本文提出了一种学习策略来解决机器人的操纵任务，并展示了比先前方法更高的样本效率、对未见过任务的适应性以及在实际约束条件下复杂性设计和控制策略之间的权衡。

Nov, 2023

通过上下文调节实现通用形态控制

该论文提出了一种分层架构，通过上下文调节来更好地模拟机器人控制策略对其形态上下文的依赖关系，其中包括两个关键子模块：（1）使用超网络生成依赖形态的控制参数；（2）提出了一种形态依赖性的注意机制来调节机器人不同肢体之间的交互。实验结果表明，该方法不仅改善了各种训练机器人的学习性能，还以零样本方式更好地推广到未见过的形态。

Feb, 2023

学习控制自组装形态：模块化通用性研究

本文探讨了一种模块化协同进化策略，通过多个原始代理的动态自组装进而形成复合体来控制机动物体，与传统复杂代理的学习方法不同。作者通过在模拟环境中进行实验，展示了这一方法比静态和单片基线更好地适应环境变化和测试时间变化的性能。

Feb, 2019

强化学习用于自由形态机器人设计

受动物形态适应的必要性的启发，一系列工作试图拓展机器人训练，以涵盖机器人设计的物理方面。然而，目前只有旋转或调整既定和静态拓扑属的肢体的强化学习方法。本文展示了一种设计具有任意外部和内部结构的自由形态机器人的策略梯度方法，通过使用放置或移除原子建筑块束以形成高级非参数宏结构，如附件、器官和腔室。尽管仅提供了开环控制的结果，但我们讨论了如何将该方法改进为闭环控制，并在未来实现从模拟到真实物理机器的转移。

Oct, 2023

基于形态环境共进化的课程强化学习

通过 “形态环境共同进化（MECE）” 优化强化学习代理和形态，使其能够自动适应不断变化的环境，从而在不同环境中实现更好的泛化性能。

Sep, 2023

AnyMorph: 通过推断智能体形态学学习可迁移策略

提出了一种基于数据驱动的方法，学习了一种直接表示动物形态的表示法，即使没有先前动物形态的描述信息，也可以训练出泛化到新动物形态的策略，实现了对新动物形态的零样本学习。

Jun, 2022