AAAIAug, 2023

FoX：多智能体强化学习中的形成感知探索

PDF
TL;DR在多个合作多代理任务中，为解决探索受到多个 agent 的部分可观测性和探索空间呈指数增长的挑战，本研究提出了一种新的基于形成意识的探索框架（FoX），通过引导部分可观测 agent 在不同形成中访问状态，显著优于先前算法。
deep multi-agent reinforcement learningexplorationscalabilityformation-based equivalence relationformation-aware exploration
发现论文，激发创造
  • 有效多智能体 Q-Learning 的图探索

    本文提出了一种基于图通信的多智能体强化学习探索技术，通过邻近智能体的协作来估计状态 - 动作空间的不确定性，从而在不需要计数机制且可以应用于连续状态环境的前提下执行更有效的探索行为，可以实现最小的信息交换和完全分散的通信方式，并用理论和实验结果分别验证了其在离散状态和连续状态下的性能。

    Apr, 2023

  • MESA：基于状态动作空间结构的多智能体学习中的合作元探索

    MESA 是一种新颖的元探索方法，通过从训练任务中识别代理的高奖励联合状态 - 动作子空间，然后学习一组多样性的探索策略来解决多智能体协同学习中有效探索的问题。实验证明，通过学习到的探索策略，MESA 在稀疏奖励环境和挑战性任务中均能显著提高性能，并具备在测试时泛化到更复杂任务的能力。

    May, 2024

  • 基于情景无关表征实现多智能体迁移强化学习

    通过将各种状态空间统一为固定大小的输入，以便在 MAS 中的不同场景中使用一种统一的深度学习策略，我们介绍了一种新的框架，使得多智能体强化学习能够进行迁移学习。在 StarCraft Multi-Agent Challenge（SMAC）环境中，通过从其他场景学习到的机动技能，相比于从头学习的智能体，我们的方法在多智能体学习性能方面取得了显著的提升。此外，通过采用课程式迁移学习（CTL），使我们的深度学习策略逐步获取各个预先设计的同质学习场景中的知识和技能，促进智能体之间和智能体内部的知识传递，从而在更复杂的异质场景中实现高水平的多智能体学习性能。

    Feb, 2024

  • 异步多智能体强化学习用于高效实时多机器人协同探索

    我们提出了一种异步的多智能体强化学习算法，Asynchronous Coordination Explorer (ACE)，可以在处理机器人探索问题时减少实际探索时间，并通过使用基于 CNN 的策略将遗失的机器人维护在一个团队中。

    Jan, 2023

  • 结构化状态抽象协作多智能体导航学习

    本研究提出了一个神经网络架构，旨在共同学习多个代理参与导航任务中的自适应状态空间抽象和通信协议，从而有效减少探索的状态空间的大小，并达到更好的政策性能。

    Jun, 2023

  • MARL-LNS：基于大型邻域搜索的合作多智能体强化学习

    合作多智能体强化学习是一个在过去五年中越来越重要的研究主题，因其在现实世界中的巨大应用潜力。本文提出了一个通用的训练框架 MARL-LNS，通过在交替的智能体子集上进行训练，并使用现有的深度 MARL 算法作为底层训练器来解决维度灾难的问题，而不需要额外的参数进行训练。基于该框架，我们提供了三种算法变种：随机大邻域搜索（RLNS），批量大邻域搜索（BLNS）和自适应大邻域搜索（ALNS），这些算法以不同的方式交替使用智能体子集。我们在 StarCraft Multi-Agent Challenge 和 Google Research Football 上测试了我们的算法，并证明我们的算法可以自动减少至少 10％的训练时间，同时达到与原始算法相同的最终技能水平。

    Apr, 2024

  • 均场多智体强化学习：一种分散网络方法

    提出了基于 LTDE-Neural-AC 和演员 - 评论家方法的多智能体强化学习算法，应用于自驾车、拼车、数据和交通路由模型的图网络，其解决了分散式多智能体强化学习网络结构的问题，并具有收敛保证的优势。

    Aug, 2021

  • ROMA：具有新兴角色的多智能体强化学习

    本文提出了一种基于角色的多智能体强化学习框架，称为 ROMA，用于推进 StarCraft II 微观管理基准测试的艺术水平，该框架中的角色是新兴的，代理人倾向于在某些子任务上专业化，并添加了新的规则器来构建随机的角色嵌入空间。

    Mar, 2020

  • 协作多智能体强化学习的高效分布式框架

    本研究提出了一种基于 actor-work-learner 架构的分布式 MARL 框架，在 MaCA 军事模拟环境和 SMAC 3D 实时战略游戏环境中验证了其在多智能体强化学习性能提升方面的有效性。

    May, 2022

  • 基于图注意力的部分可观察性均值场多智能体强化学习

    本研究提出了一种使用图形注意力机制的新型多智能体强化学习算法（Partially Observable Mean Field Multi-Agent Reinforcement Learning based on Graph-Attention），以更有效地捕获邻居智能体的特征信息，以选择更有效的行动，该算法在 MAgents 框架上的三个挑战任务中优于最先进的部分可观测平均场强化学习算法的基线。

    Apr, 2023