Feb, 2024

去中心化多 Agent 协同探索中的新颖性共享

PDF
TL;DR提出一种名为 MACE 的简单而有效的多智能体协同探索方法，通过仅传递本地新奇性，代理可以考虑其他代理的本地新奇性来近似全局新奇性，并引入加权互信息来衡量代理行为对其他代理累积新奇性的影响，在后见中将其转换为内在奖励，以鼓励代理对其他代理的探索产生更多影响并促进协同探索，并在三个稀疏奖励的多智能体环境中展示了 MACE 在性能上的优越性。
发现论文，激发创造
  • 多智能体深度强化学习的协作探索

    本文提出协作多智能体探索（CMAE）方法，通过归一化熵技术从多个状态空间中选择目标，实现智能体之间探索的协调性，取得了多项任务的良好表现。

    Jul, 2021

  • MESA：基于状态动作空间结构的多智能体学习中的合作元探索

    MESA 是一种新颖的元探索方法，通过从训练任务中识别代理的高奖励联合状态 - 动作子空间，然后学习一组多样性的探索策略来解决多智能体协同学习中有效探索的问题。实验证明，通过学习到的探索策略，MESA 在稀疏奖励环境和挑战性任务中均能显著提高性能，并具备在测试时泛化到更复杂任务的能力。

    May, 2024

  • 异步多智能体强化学习用于高效实时多机器人协同探索

    我们提出了一种异步的多智能体强化学习算法，Asynchronous Coordination Explorer (ACE)，可以在处理机器人探索问题时减少实际探索时间，并通过使用基于 CNN 的策略将遗失的机器人维护在一个团队中。

    Jan, 2023

  • 具有好奇心驱动探索的情节式多智能体强化学习

    本篇论文提出了 Episodic Multi-agent 强化学习方法，并把个体 Q 值预测误差作为内部奖励，使用情节式记忆从经验中提升策略训练，从而实现多代理协作性问题的有效探索和高效学习。在 StarCraft II 微型管理基准测试中，我们的方法显著优于现有情况下的 MARL 基线。

    Nov, 2021

  • 想象，初始化和探索：一种有效的多智能体强化学习探索方法

    通过使用一种新的方法，称为 Imagine, Initialize, and Explore (IIE)，该方法使用转换模型使多个智能体达到关键状态，并以此为起点进行探索，实现高效多智能体探索。在实际测试中，IIE 在复杂环境下表现出优异的性能，超过了其他多智能体探索基线，特别在稀疏奖励任务中有更好的表现，并产生比 CVAE-GAN 和扩散模型更有效的课程。

    Feb, 2024

  • 合作多智体强化学习中的随机探索

    我们提出了第一个关于合作多智能体强化学习（MARL）中可证明效率的随机探索的研究，提出了一种统一的随机探索算法框架，以及两种基于 Thompson Sampling（TS）的算法。我们在多个并行强化学习环境中评估了我们的方法，包括深度探索问题，视频游戏和能源系统中的一个实际问题。实验证明，我们的框架即使在过渡模型误指定的条件下，也能达到更好的性能，此外，我们还建立了我们统一框架与联邦学习的实际应用之间的联系。

    Apr, 2024

  • 多智能体强化学习中基于内在奖励的协调探索

    该论文介绍了一种为多智能体设计内在奖励的框架，以促进协调探索，然后开发了一种方法来学习如何动态选择若干探索方式以最大化外在奖励。通过在具有稀疏奖励的合作域和需要改变协调模式的具有挑战性的多阶段任务中进行实验证明了该方法的有效性。

    May, 2019

  • MUI-TARE：未知初始位置的多智能体合作探索

    通过基于 lidar 的多智能体探测，结合自适应和协作式规划，对子图合并的鲁棒性和探测效率进行智能平衡，提高了环境探测效率 50% 以上。

    Sep, 2022

  • 并发强化学习中的可扩展协调探索

    在一个公共环境下，考虑一组同时运行的强化学习智能体，我们提出了一种适用于实际规模问题的高效协同探索方法，该方法建立在种子抽样和随机值函数学习的基础上，并证明该方法在简单表格式上与先前提出的表格式学习方法相当竞争力，在高维度问题和神经网络值函数表示的情况下，该方法可以通过使用更少的代理学习更快地进行探索比替代方法。

    May, 2018

  • MAVEN: 多智能体变分探索

    本文提出一种名为 MAVEN 的新方法，该方法结合了价值和基于策略的方法，引入了层次控制的潜在空间来解决 QMIX 和类似方法中的行动值表示约束引起的探索不足和次优现象。MAVEN 可以实现承诺和延时探索，在具有挑战性的 SMAC 动态负载均衡问题上取得了显着的性能提升，是一种解决复杂多智能体任务的重要方法。

    Oct, 2019