Mar, 2023

Quality-Diversity 与深度强化学习之间的协同作用理解

PDF
TL;DR研究提出了一个统一的模块化框架，名为通用 Actor-Critic Quality-Diversity Deep Reinforcement Learning，以探究深度强化学习中的洞察，并将其应用于 Quality-Diversity 算法，进而提出 PGA-ME (SAC) 和 PGA-ME（DroQ）算法以解决人性化难题，同时演示了境外评估对演员批评模型的必要性。
quality-diversitydeep reinforcement learningmodular frameworkpga-meactor-critic models
发现论文，激发创造
  • 质量多样性强化学习的近端策略梯度树形结构

    本文介绍如何使用高通量模拟器和在线学习方法相结合的 QD-RL 算法来训练能够在未知动态环境下表现良好的机器人，PPGA 算法在人形机器人领域实现了 4 倍的改进。

    May, 2023

  • 强化学习中可微分多样性的梯度逼近

    探讨在训练鲁棒性强的机器人智能体中，使用多样化的代理策略以提高质量多样性优化问题的效率。通过两种导数近似方法实现多样性质量优化算法，并使用四种机器人仿真测试其性能，揭示当前算法在需要近似梯度的领域中的局限性。

    Feb, 2022

  • 通过人类反馈实现质量多样性

    Quality Diversity through Human Feedback (QDHF) employs human feedback to expand the applicability of Quality Diversity (QD) algorithms, enhancing diversity in optimization for complex tasks.

    Oct, 2023

  • 基于 MAP-Elites 的多样化 RL 智能体群体进化

    本文介绍了一个灵活的框架，该框架允许使用任何强化学习（RL）算法，并通过演化代理人群体而不仅仅是策略来缓解限制，以改进 QD 在机器人控制问题中的应用。

    Mar, 2023

  • 具有离散 - 连续混合动作空间的深度多智体强化学习

    本篇论文针对协同多智能体问题中的 “离散 - 连续混合动作空间” 这一实际难题，提出了两个新算法：Deep Multi-Agent Parameterized Q-Networks（Deep MAPQN）和 Deep Multi-Agent Hierarchical Hybrid Q-Networks（Deep MAHHQN）。中心化训练，分散执行范例下的实证结果显示，Deep MAPQN 和 Deep MAHHQN 均更为有效，且远胜于现有独立深度参数化 Q 学习方法。

    Mar, 2019

  • 多智能体系统的深度强化学习：挑战、解决方案和应用综述

    此篇论文介绍了多智能体深度强化学习的不同方法，包括非静态性、部分可观测性、连续的状态和操作空间、多智能体训练机制、多智能体转移学习，并分析和讨论了这些方法的优缺点及其相关应用，旨在促进更加健壮和高效的多智能体学习方法的发展。

    Dec, 2018

  • 稀疏奖励和稀疏互动下的质量多样性：机器人抓取的应用

    通过评估框架，该研究工作在 10 个不同抓取领域进行了 15 种方法的实验，结果显示优先选择成功解决方案的 MAP-Elites 变体在所研究的指标上大大优于其他方法，并发现稀疏交互可能导致迷惑性的新颖性，此工作在文献中具有创新性地有效产生了抓取轨迹示例，这方面没有先例。

    Aug, 2023

  • 深度强化学习简要调查

    深度强化学习是 AI 领域的一项重大进展，可以构建具有更高层次视觉世界理解能力的自主系统。本文综述了深度强化学习的中央算法，包括基于价值和基于策略的方法，并重点介绍了深度神经网络在强化学习中的独特优势，最后描述了该领域内的几个当前研究方向。

    Aug, 2017

  • Mix-ME: 多智能体学习的多样性质量

    Mix-ME 是一种基于 MAP-Elites 算法的多智能体变种方法，结合了不同团队的智能体，用混合操作符生成新解，在部分可观察的连续控制任务中，这些通过 Mix-ME 获取的多智能体变种不仅能与单一智能体基线进行竞争，而且在多智能体环境中通常表现出色。

    Nov, 2023

  • 视频游戏中深度强化学习综述

    本文综述了深度强化学习 (DRL) 的进展，包括基于价值、基于策略和基于模型的算法，并对其在游戏 AI 领域内的应用和挑战进行了讨论和总结。

    Dec, 2019