Mar, 2023

质量 - 多样性转换器：使用决策 Transformer 生成行为条件轨迹

PDF
TL;DR该研究提出了一种新的方法来实现基于行为的轨迹生成，该方法基于 MAP-Elites Low-Spread 和 Quality-Diversity Transformer 两个机制，实现了在不确定环境下生成具有一致性、鲁棒性和可重复性的多样化解决方案，并能够自主地实现目标行为。
发现论文，激发创造
  • 质量多样性与描述条件增强学习的协同

    DCG-MAP-Elites 在多个挑战性连续控制运动任务中实现与所有基线模型相当或更高的 QD 得分和覆盖率。

    Dec, 2023

  • 将 LLM 和决策变压器相结合，实现语言操作的生成与多样共存

    通过使用大型语言模型扩充轨迹的自然语言描述，我们提出了一种方法来解决质量 - 多样性问题，允许用户指定任意目标行为描述，并通过高层次的文本提示来塑造生成的轨迹。同时，我们还提出了一种基于大型语言模型的评估方法，并使用 2D 迷宫中的模拟机器人导航开发了一种基准测试用于实验验证。

    Aug, 2023

  • 潜在行为生成

    通过将连续行为离散化为层次化矢量量化模块，VQ-BeT 是一种能够处理多模态行为预测、条件生成和部分观测的行为生成通用模型，其在七个环境中取得了比 BeT 和 Diffusion Policies 等现有模型更好的效果，并且加速了推断速度 5 倍以上。

    Mar, 2024

  • 使用基于模型的品质多样性和梯度的高效探索

    本文介绍了一种基于模型的 Quality-Diversity 算法，该算法通过对所有群体成员进行有效的探索和利用想象中的扰动来同时维持性能和高效的多样性，从而提高人群算法在具有欺骗性奖励的任务中的样本效率和解决方案质量。

    Nov, 2022

  • Mix-ME: 多智能体学习的多样性质量

    Mix-ME 是一种基于 MAP-Elites 算法的多智能体变种方法，结合了不同团队的智能体，用混合操作符生成新解，在部分可观察的连续控制任务中，这些通过 Mix-ME 获取的多智能体变种不仅能与单一智能体基线进行竞争，而且在多智能体环境中通常表现出色。

    Nov, 2023

  • 通过无重置多样性优化实现自主步行学习

    本研究提出了 Reset-Free Quality-Diversity optimization (RF-QD) 算法来实现具有多样性和高性能技能的行为副本的自主学习，我们在 Dynamics-Aware Quality-Diversity (DA-QD) 基础上引入了一种行为选择策略，并演示了通过训练自我重置的步态行走任务，可以高效学习到具有多样性和一定安全性的行走技能。

    Apr, 2022

  • 可微分的质量多样性

    提出了一种简化版的 Quality diversity 问题 - DQD，重点解决 Objective 和 Measure 函数是一阶可微分函数的问题，并提出了一种基于梯度信息的算法 MEGA, 成功地解决了优化过程中 “黑盒处理” 忽略 Gradient information 的问题。在两个 QD 基准领域和 StyleGAN 的潜在空间中进行实验，表明 MEGA 显著优于现有的 QD 算法，突出了 DQD 在梯度信息可用时高效的优势。

    Jun, 2021

  • 基于 MAP-Elites 的多样化 RL 智能体群体进化

    本文介绍了一个灵活的框架，该框架允许使用任何强化学习（RL）算法，并通过演化代理人群体而不仅仅是策略来缓解限制，以改进 QD 在机器人控制问题中的应用。

    Mar, 2023

  • 通过多样质量种群实现高效的质量多样性优化

    本文提出了一种名为 Diverse Quality Species (DQS) 的新型质量 - 多样性算法，能够在不需要存档或事先定义行为范围的情况下，将解决方案分解为独立进化种类，并利用无监督技能发现来学习多样化而高性能的解决方案，在多个仿真机器人环境中进行评估，结果表明 DQS 比其他 QD 算法更具样本效率和性能。

    Apr, 2023

  • 多样性策略梯度用于高效样本质量多样化优化

    本文提出了一种新算法 QDPG，它结合了策略梯度算法和质量多样性方法，用于在连续控制环境中生成多样化和高性能的神经控制器，并且比其他进化算法更具样本效率。

    Jun, 2020