任意机器人形态的控制器架构和学习机制比较
本文提出了一种基于深度强化学习和软演员 - 评论家算法的全新方法：将机器人形态与其控制器自动高效地协同适应，以降低试验形态与行为的数量，并使用先前测试过的形态和行为来估计新候选形态的性能，该方法在真实世界中实现机器人设计的协同适应尤为适用。
Nov, 2019
该论文提出了一种分层架构，通过上下文调节来更好地模拟机器人控制策略对其形态上下文的依赖关系，其中包括两个关键子模块：（1）使用超网络生成依赖形态的控制参数；（2）提出了一种形态依赖性的注意机制来调节机器人不同肢体之间的交互。实验结果表明，该方法不仅改善了各种训练机器人的学习性能，还以零样本方式更好地推广到未见过的形态。
Feb, 2023
本文探讨了一种模块化协同进化策略，通过多个原始代理的动态自组装进而形成复合体来控制机动物体，与传统复杂代理的学习方法不同。作者通过在模拟环境中进行实验，展示了这一方法比静态和单片基线更好地适应环境变化和测试时间变化的性能。
Feb, 2019
该研究探讨并展现了一种新的技术 ——“形态创新保护”，可协同优化机器人的结构和控制策略并避免局部最优解来提高机器人的行为性能，促进了自动化机器人设计和行为训练，同时为研究实体认知理论提供了实验检验的平台。
Jun, 2017
本研究提出了一个层次框架，将基于模型的控制和强化学习相结合，为四足动物（Unitree Laikago）合成鲁棒控制器。通过学习选择一套原语响应环境中的变化，使其适应复杂的环境变化，并具有更高的能源效率和更强的鲁棒性。
Sep, 2020
受动物形态适应的必要性的启发，一系列工作试图拓展机器人训练，以涵盖机器人设计的物理方面。然而，目前只有旋转或调整既定和静态拓扑属的肢体的强化学习方法。本文展示了一种设计具有任意外部和内部结构的自由形态机器人的策略梯度方法，通过使用放置或移除原子建筑块束以形成高级非参数宏结构，如附件、器官和腔室。尽管仅提供了开环控制的结果，但我们讨论了如何将该方法改进为闭环控制，并在未来实现从模拟到真实物理机器的转移。
Oct, 2023
本文提出了一种名为 MetaMorph 的 Transformer 方法，用于学习模块化机器人设计空间中的通用控制器，通过大规模预训练在各种机器人形态上实现组合泛化能力，并证明了可以将预训练策略用于高效的样本转移。
Mar, 2022
通过深度学习和强化学习相结合的方法，本文提出了一种学习策略来解决机器人的操纵任务，并展示了比先前方法更高的样本效率、对未见过任务的适应性以及在实际约束条件下复杂性设计和控制策略之间的权衡。
Nov, 2023
本研究利用中央模式生成器（CPGs）构建深度强化学习的 DeepCPG 策略层来实现多腿机器人的行走行为，证明其在高维传感器空间中具有实验有效性，并进一步通过模块化机器人和多智能体深度强化学习的方法来推广其应用，展示了生物学原理所建立的更高智能系统的潜在革命性应用。
Feb, 2023