多智能体强化学习的深层隐式协调图

Jun, 2020

多智能体强化学习的深层隐式协调图

Deep Implicit Coordination Graphs for Multi-agent Reinforcement Learning

Sheng Li, Jayesh K. Gupta, Peter Morales, Ross Allen, Mykel J. Kochenderfer

TL;DR本文引入了一种深度隐式协调图 (DICG) 结构，用于多智能体强化学习中的协调问题，通过一个协调图神经网络实现隐式推理，实现了完全中央化和分散化之间的平衡，并在多个基准测试任务中表现出色。

Abstract

multi-agent reinforcement learning (MARL) requires coordination to efficiently solve certain tasks. Fully centralized control is often infeasible in such domains due to the size of joint action spaces. coordination grap

multi-agent reinforcement learning coordination graph implicit reasoning graph neural network decentralization

发现论文，激发创造

深度协同图

本文介绍了用于协作式多智能体强化学习的深度协调图（DCG）。DCG 通过协调图将所有智能体的联合价值函数因子化为智能体对之间的收益，从而在表征能力和泛化能力之间取得了灵活的折衷，解决了多智能体系统面临的相对过度泛化问题，在 StarCraft II 的微观管理任务中取得了显著的效果。

Sep, 2019

多智能体强化学习的群体感知协调图

我们提出了一种新的方法来推断组感知协作图（GACG），以捕捉基于当前观测到的代理之间的合作以及跨轨迹观察到的行为模式的组水平依赖关系，并在决策过程中使用该图进行信息交换。通过在 StarCraft II 微管理任务上进行评估，我们证明了 GACG 的卓越性能。进一步的消融研究为我们的方法的每个组成部分的有效性提供了实验证据。

Apr, 2024

在有向无环图约束下学习多个协同代理

本文提出了一种新的多智能体强化学习方法，旨在学习在有向无环图 (DAG) 约束条件下的多个协调智能体。我们的方法利用智能体之间的 DAG 结构，有效提高学习性能，并通过提出一种基于合成奖励的 MARL 模型的新型替代值函数来证明其作为最优值函数的下限。计算上，我们提出了一种实用的训练算法，利用新的领导智能体和奖励生成器 / 分配智能体引导分解的从属智能体更好地探索具有 DAG 约束的环境的参数空间。实证上，我们利用了四个 DAG 环境，包括英特尔高容量封装和测试工厂的真实排程，对我们的方法进行基准测试，证明其优于其他非 DAG 方法。

Jul, 2023

基于合作图的多智能体稀疏奖励强化学习方法

本文提出了一种基于 Cooperation Graph 结构的 Multiagent Reinforcement Learning（CG-MARL）算法，通过设计一个网络结构来有效处理多智能体领域中的稀疏奖励问题，并在实验中展示出全面领先的性能表现。

Aug, 2022

可扩展协作图的自我聚类层次多智能体强化学习

提出了一种名为 Hierarchical Cooperation Graph Learning (HCGL) 的新型分层 MARL 模型，可以解决复杂的多智能体问题，通过动态可扩展合作图 (ECG) 实现自我聚类合作，调整 ECG 拓扑结构的图操作符，以及训练这些图操作符的 MARL 优化器。实验结果表明，HCGL 模型在稀疏奖励的多智能体基准测试中表现出色，并可以轻松应用于具有高零 - shot 传输成功率的大规模场景。

Mar, 2024

带有定向协调图的分布式合作多智能体强化学习

本文提出了一种分布式强化学习算法，该算法使用直接协调图和局部值函数，通过零阶优化方法进行条件估计，没有使用任何共识算法。与现有的基于零阶优化的强化学习算法相比，我们的算法保证了高可扩展性。

Jan, 2022

基于图形的多智能体强化学习的协同信息传播学习

利用多智能体强化学习的分散式 POMDP 方法，通过图卷积强化学习和动态注意力技术实现信息传播，提供了可靠的协作信息传播解决方案。

Aug, 2023

用于部分可观察环境和有限通信的 R-MADDPG

本文介绍了一种使用深度循环多智能体演员 - 评论家框架（R-MADDPG）处理部分可观测设置和有限通信下多智能体协调的方法，并探究了循环效应对团队智能体表现和通信使用的影响。研究结果表明，该框架可以学习随时间变化的依赖关系，处理资源限制，并在智能体之间开发不同的通信模式。

Feb, 2020

多智能体强化学习中推断潜在时间稀疏协调图

在合作多智能体强化学习中，有效的智能体协调至关重要。为了解决现有方法中对历史经验的忽视和稠密图计算的可扩展性问题，我们提出了一种基于潜在时间稀疏协调图的多智能体强化学习方法。该方法利用智能体的历史观测计算智能体对概率矩阵，并基于此矩阵生成稀疏图，以促进智能体之间的知识交流，同时捕捉智能体之间的依赖关系和关系不确定性。该方法还引入了 “预测未来” 和 “推断现在” 两个创新特性，使得该方法能够从有限数据中构建历史和实时信息的时间图，促进策略学习和有效协作。实验结果表明，该方法在 StarCraft II 基准测试中具有卓越的性能。

Mar, 2024

野火管理资源分配的图神经网络通信层协作自适应多智能体强化学习

提出一种基于多智能体强化学习和图神经网络通讯层的方法，在火灾管理资源分配中，通过通信环境特征和部分可见火灾，实现协作分配资源，优于贪心启发式基线和单智能体设置，并展示了自动课程和开放性对其泛化能力的改善。

Apr, 2022