通过无重置多样性优化实现自主步行学习

Apr, 2022

通过无重置多样性优化实现自主步行学习

Learning to Walk Autonomously via Reset-Free Quality-Diversity

Bryan Lim, Alexander Reichenbach, Antoine Cully

TL;DR本研究提出了 Reset-Free Quality-Diversity optimization (RF-QD) 算法来实现具有多样性和高性能技能的行为副本的自主学习，我们在 Dynamics-Aware Quality-Diversity (DA-QD) 基础上引入了一种行为选择策略，并演示了通过训练自我重置的步态行走任务，可以高效学习到具有多样性和一定安全性的行走技能。

Abstract

Quality-Diversity (QD) algorithms can discover large and complex behavioural repertoires consisting of both diverse and high-performing skills. However, the generation of behavioural repertoires has mainly been limited to simulation environments instead of real-world learning. This is because existing QD algorithms need large numbers of evaluations as well a

quality-diversity algorithms reset-free optimization autonomous learning robotics legged locomotion controllers

发现论文，激发创造

通过动态感知和无重置学习在物理机器人上实现质量多样性优化

通过 Reset-Free QD 算法和动力学模型，在物理机器人上直接学习控制器，以提高样本效率和生成最佳存档，从而使物理四足机器人在两小时内学习到行为技能库。

Apr, 2023

动态感知的多样性优化：高效学习技能库

通过使用动态模型来提高质量 - 多样性算法的样本效率，我们提出了动态感知质量 - 多样性 (DA-QD) 框架；我们从中获得的经验进行增量训练，可以在想象力中使用想象技能库进行质量 - 多样性探索。该方法能够在三个机器人实验中取得成功的应用，包括比现有 QD 方法更高效的技能发现、零 - shot 学习中的新技能库以及长期导航任务中的损伤适应。

Sep, 2021

具有分层品质多样性的物理机器人在线损伤恢复

使用 Hierarchical Trial and Error 算法，将 QD 算法分层结构化以增加机器人学习技能的多样性，并使机器人能够更快地适应物理世界，实验表明，该方法优于现有基准算法，可提高机器人迎接新挑战的能力。

Oct, 2022

从完整状态轨迹中发现无监督行为

本文介绍了一种利用自主生成的行为特征描述模拟机器人环境中任务的质量 - 多样性（Quality-Diversity）算法，可以自主发现各种解决方案来处理导航、高速前进和半滚动任务。

Nov, 2022

基于质量多样性与无监督描述符的自主技能发现

本文提出一种将 Quality-Diversity 优化算法与非监督降维算法相结合来自动定义行为描述符的方法，此方法可用于机器人学习行为库并在与环境交互时自主发现其能力范围，通过实验结果表明，该方法优于已有的非监督方法，机器人学习到的行为丰富多样。

May, 2019

基于质量多样性优化的无监督行为发现

该论文介绍了一种使用减少维度技术自动学习行为描述符的算法，可用于生成覆盖机器人大多数可能行为的控制器集合，其表现类似于传统的手动编码方法，但不需要提供任何手动编码的行为描述符。

Jun, 2021

基于相关性引导的无监督质量多样性算法能力发现

提出了一种基于 Relevance-guided Unsupervised Discovery of Abilities 的 Quality-Diversity 算法，可以自动发现适用于任务的行为描述符，并在模拟机器人环境中验证了算法的有效性。

Apr, 2022

稀疏奖励和稀疏互动下的质量多样性：机器人抓取的应用

通过评估框架，该研究工作在 10 个不同抓取领域进行了 15 种方法的实验，结果显示优先选择成功解决方案的 MAP-Elites 变体在所研究的指标上大大优于其他方法，并发现稀疏交互可能导致迷惑性的新颖性，此工作在文献中具有创新性地有效产生了抓取轨迹示例，这方面没有先例。

Aug, 2023

通过质量多样性实现程序化内容生成

Quality-diversity algorithms, with explicit behavior metrics searching for a set of high-quality and diverse solutions, provide new opportunities for AI game-playing and procedural content generation, enabling creative human-AI interactions and adaptivity.

Jul, 2019

质量多样性强化学习的近端策略梯度树形结构

本文介绍如何使用高通量模拟器和在线学习方法相结合的 QD-RL 算法来训练能够在未知动态环境下表现良好的机器人，PPGA 算法在人形机器人领域实现了 4 倍的改进。

May, 2023