可扩展协作图的自我聚类层次多智能体强化学习

Mar, 2024

可扩展协作图的自我聚类层次多智能体强化学习

Self-Clustering Hierarchical Multi-Agent Reinforcement Learning with Extensible Cooperation Graph

Qingxu Fu, Tenghai Qiu, Jianqiang Yi, Zhiqiang Pu, Xiaolin Ai

TL;DR提出了一种名为 Hierarchical Cooperation Graph Learning (HCGL) 的新型分层 MARL 模型，可以解决复杂的多智能体问题，通过动态可扩展合作图 (ECG) 实现自我聚类合作，调整 ECG 拓扑结构的图操作符，以及训练这些图操作符的 MARL 优化器。实验结果表明，HCGL 模型在稀疏奖励的多智能体基准测试中表现出色，并可以轻松应用于具有高零 - shot 传输成功率的大规模场景。

Abstract

multi-agent reinforcement learning (MARL) has been successful in solving many cooperative challenges. However, classic non-hierarchical MARL algorithms still cannot address various complex multi-agent problems that require hierarchical cooperative behaviors. The cooperative knowledge a

multi-agent reinforcement learning hierarchical marl model extensible cooperation graph graph operators sparse rewards

发现论文，激发创造

基于合作图的多智能体稀疏奖励强化学习方法

本文提出了一种基于 Cooperation Graph 结构的 Multiagent Reinforcement Learning（CG-MARL）算法，通过设计一个网络结构来有效处理多智能体领域中的稀疏奖励问题，并在实验中展示出全面领先的性能表现。

Aug, 2022

多智能体强化学习的群体感知协调图

我们提出了一种新的方法来推断组感知协作图（GACG），以捕捉基于当前观测到的代理之间的合作以及跨轨迹观察到的行为模式的组水平依赖关系，并在决策过程中使用该图进行信息交换。通过在 StarCraft II 微管理任务上进行评估，我们证明了 GACG 的卓越性能。进一步的消融研究为我们的方法的每个组成部分的有效性提供了实验证据。

Apr, 2024

GHQ：异构协作多智体强化学习中的分组混合 Q 学习

本研究实现了一个基于 Starcraft 多智能体协作异构场景的多智能体强化学习算法 - Grouped Hybrid Q 学习 (GHQ)，通过最大化群组间的互信息来加强协调，并在原始和新的异构地图上进行实验以证明 GHQ 相对于其他最先进算法的卓越表现。

Mar, 2023

在有向无环图约束下学习多个协同代理

本文提出了一种新的多智能体强化学习方法，旨在学习在有向无环图 (DAG) 约束条件下的多个协调智能体。我们的方法利用智能体之间的 DAG 结构，有效提高学习性能，并通过提出一种基于合成奖励的 MARL 模型的新型替代值函数来证明其作为最优值函数的下限。计算上，我们提出了一种实用的训练算法，利用新的领导智能体和奖励生成器 / 分配智能体引导分解的从属智能体更好地探索具有 DAG 约束的环境的参数空间。实证上，我们利用了四个 DAG 环境，包括英特尔高容量封装和测试工厂的真实排程，对我们的方法进行基准测试，证明其优于其他非 DAG 方法。

Jul, 2023

多智能体强化学习的深层隐式协调图

本文引入了一种深度隐式协调图 (DICG) 结构，用于多智能体强化学习中的协调问题，通过一个协调图神经网络实现隐式推理，实现了完全中央化和分散化之间的平衡，并在多个基准测试任务中表现出色。

Jun, 2020

有效多智能体 Q-Learning 的图探索

本文提出了一种基于图通信的多智能体强化学习探索技术，通过邻近智能体的协作来估计状态 - 动作空间的不确定性，从而在不需要计数机制且可以应用于连续状态环境的前提下执行更有效的探索行为，可以实现最小的信息交换和完全分散的通信方式，并用理论和实验结果分别验证了其在离散状态和连续状态下的性能。

Apr, 2023

具有技能发现的分层合作多智能体强化学习

为实现人工智能在团队比赛中与人类的合作，本文提出了一种基于分层式多智能体强化学习算法的技能发现和团队协作方法，并通过实验验证其可行性。

Dec, 2019

多智能体导航中学习图增强的指挥者 - 执行者模型

本文介绍了一种基于图神经网络的多智能体导航任务的目标条件层次方法，名为 MAGE-X，该方法由高级目标指挥官和低级行动执行器组成，并通过使用关键合作者构建子图来提高合作。结果显示，MAGE-X 在多智能体颗粒环境（MPE）和更复杂的四旋翼 3D 导航任务中均优于最先进的 MARL 基线。

Feb, 2023

异质智能体强化学习

本文提出了基于 HARL 算法的新框架 HAML，将多智能体强化学习的合作扩展到异构智能体模式，并对该框架下的多种算法进行了验证和比较。测试表明，HARL 算法在协调异构智能体方面的稳定性和有效性要优于现有的 MA 对应物。

Apr, 2023

异质代理镜像学习：协作多智能体强化学习的一系列解决方案

本文介绍了一种名为异构代理镜像学习（HAML）的新型框架，该框架提供了一种通用的 MARL 算法设计模板，解决了在奖励单调性或收敛时的非最优性能问题，通过证明来自 HAML 模板的算法满足单调改进联合奖励和收敛到纳什均衡的期望属性，并通过在星际争霸 II 和多智能体 MuJoCo 任务中验证了 HAML 的实用性。

Aug, 2022