Feb, 2022

通过大规模并行加速质量多样性

PDF
TL;DR本文介绍了 QDax 算法，该算法通过使用大规模的加速器并行特性优化 Quality-Diversity (QD) 算法，使得 QD 算法可以在交互式时间尺度下扩展，能够大规模地加速解决方案生成过程，并通过对四种不同环境的测试分析表明，实验运行时间从天级别降低到分钟级别。
quality-diversityoptimization algorithmsparallelismhardware accelerationneuroevolution
发现论文，激发创造
  • 多人合力：使用多个并行进化策略的 MAP-Elites 提升质量和多样性

    本文提出了一种基于进化策略的快速并行评估，名为 MAP-Elites-Multi-ES（MEMES）的新型 QD 算法，该算法通过保持多个独立的进化策略线程来扩展现有的 MAP-Elites-ES 算法，并引入了一种新的动态重置过程来自主地最大化 QD 种群的改进。实验结果表明，MEMES 在黑盒优化和 QD-Reinforcement 学习任务方面表现优越，并具有本地优化适应性的内在优势。

    Mar, 2023

  • 通过多样质量种群实现高效的质量多样性优化

    本文提出了一种名为 Diverse Quality Species (DQS) 的新型质量 - 多样性算法，能够在不需要存档或事先定义行为范围的情况下，将解决方案分解为独立进化种类，并利用无监督技能发现来学习多样化而高性能的解决方案，在多个仿真机器人环境中进行评估，结果表明 DQS 比其他 QD 算法更具样本效率和性能。

    Apr, 2023

  • 评估优质多样性神经进化算法在难度较高的探索问题中的表现

    本篇研究提出了三个基准测试，旨在通过质量多样性方法的系统性评估来解决控制问题和探索难题。

    Nov, 2022

  • 通过质量多样性实现程序化内容生成

    Quality-diversity algorithms, with explicit behavior metrics searching for a set of high-quality and diverse solutions, provide new opportunities for AI game-playing and procedural content generation, enabling creative human-AI interactions and adaptivity.

    Jul, 2019

  • QDax：一种质量多样性和基于群体的算法的硬件加速库

    QDax 是一个开源库，具有简化且模块化的 API，用于 Quality-Diversity (QD) 优化算法在 Jax 中。该库可用于各种优化目的，从黑盒优化到连续控制。QDax 提供了流行的 QD、神经进化和增强学习算法的实现，支持各种示例。所有这些实现都可以使用 Jax 进行即时编译，以便在多个加速器（包括 GPU 和 TPU）上进行高效执行。这些实现有效地展示了该框架的灵活性和用户友好性，为研究目的简化了实验。此外，该库有详细的文档，并通过测试覆盖率达到 95%。

    Aug, 2023

  • 可微分的质量多样性

    提出了一种简化版的 Quality diversity 问题 - DQD，重点解决 Objective 和 Measure 函数是一阶可微分函数的问题，并提出了一种基于梯度信息的算法 MEGA, 成功地解决了优化过程中 “黑盒处理” 忽略 Gradient information 的问题。在两个 QD 基准领域和 StyleGAN 的潜在空间中进行实验，表明 MEGA 显著优于现有的 QD 算法，突出了 DQD 在梯度信息可用时高效的优势。

    Jun, 2021

  • 有限资源下的优质多样性

    如何用有限资源高效训练品质多样性算法（QD algorithms），这篇论文提出了一种名为 RefQD 的新方法，通过将神经网络分解为表示部分和决策部分，并在存档中共享表示部分，以减少资源开销。RefQD 在各种资源消耗大小的任务上进行的实验表明了其出色的性能。

    Jun, 2024

  • 动态感知的多样性优化：高效学习技能库

    通过使用动态模型来提高质量 - 多样性算法的样本效率，我们提出了动态感知质量 - 多样性 (DA-QD) 框架；我们从中获得的经验进行增量训练，可以在想象力中使用想象技能库进行质量 - 多样性探索。该方法能够在三个机器人实验中取得成功的应用，包括比现有 QD 方法更高效的技能发现、零 - shot 学习中的新技能库以及长期导航任务中的损伤适应。

    Sep, 2021

  • 多样性策略梯度用于高效样本质量多样化优化

    本文提出了一种新算法 QDPG，它结合了策略梯度算法和质量多样性方法，用于在连续控制环境中生成多样化和高性能的神经控制器，并且比其他进化算法更具样本效率。

    Jun, 2020

  • 基于 MAP-Elites 的多样化 RL 智能体群体进化

    本文介绍了一个灵活的框架，该框架允许使用任何强化学习（RL）算法，并通过演化代理人群体而不仅仅是策略来缓解限制，以改进 QD 在机器人控制问题中的应用。

    Mar, 2023