基于图注意力的部分可观察性均值场多智能体强化学习

Apr, 2023

基于图注意力的部分可观察性均值场多智能体强化学习

Partially Observable Mean Field Multi-Agent Reinforcement Learning Based on Graph-Attention

Min Yang, Guanjun Liu, Ziyuan Zhou

TL;DR本研究提出了一种使用图形注意力机制的新型多智能体强化学习算法（Partially Observable Mean Field Multi-Agent Reinforcement Learning based on Graph-Attention），以更有效地捕获邻居智能体的特征信息，以选择更有效的行动，该算法在 MAgents 框架上的三个挑战任务中优于最先进的部分可观测平均场强化学习算法的基线。

Abstract

Traditional multi-agent reinforcement learning algorithms are difficultly applied in a large-scale multi-agent environment. The introduction of mean field theory has enhanced the scalability of multi-agent reinforcement

multi-agent reinforcement learning mean field theory partially observable graph attention marl

发现论文，激发创造

稳定均场博弈的策略更新规则正则化

本文介绍一种名为 MF-PPO 的算法，它采用邻域策略梯度更新来调整变差的均值场博弈策略，从而提高非合作多智能体强化学习系统的稳定性和效率。

Apr, 2023

均场多智能体强化学习

本文介绍了平均场强化学习方法，通过该方法可以近似处理不同智能体之间的互动，同时开发了多个实际的基于 Q-learning 和 Actor-Critic 的平均场算法模型，并分析了解决纳什均衡的收敛性，在高斯挤压、伊辛模型和博弈游戏等实验中验证了本方法的有效性。同时，作者报告了使用无模型的强化学习方法成功解决了伊辛模型问题。

Feb, 2018

学习分散的部分可观测均场控制以实现人工集体行为

该研究论文介绍了一种解决集体行为任务的多智能体增强学习算法，该算法使用平均场控制 (MFC)，并采用一种去中心化的、部分可观测的 MFC 模型。使用新的去中心化部分可观测 MFC (Dec-POMFC) 模型，该算法在代表性的集体行为任务上进行了数值评估，并提供了算法可行性和最优性保证。

Jul, 2023

具备相关性图的深度多智能体强化学习

本文提出了一种新的多智能体强化学习方法 MAGnet，将深度强化学习、自我关注机制、神经网络结构等技术应用于 Pommerman 游戏，实验结果表明，MAGnet 在该游戏中显著优于现有的 MARL 解决方案，如 DQN，MADDPG 和 MCTS 等。

Nov, 2018

通过带权重有向图的彩色有向图来研究均场博弈

介绍了一种基于有向带权图的多智体强化学习模型，可模拟金融市场中的系统性风险。

Sep, 2022

部分可观马尔可夫博弈中高效学习的样本有效强化学习

本文研究了多智能体强化学习在部分可观察性下的挑战性任务，其中每个智能体只能看到自己的观察和动作。我们通过考虑广义模型的部分可观察马尔科夫博弈，证明了一个富裕的子类可以使用样本高效的学习方法，从而找到弱显式部分可观察马尔科夫博弈的近似纳什均衡、相关均衡以及粗略相关均衡，当代理数量很小时可在多项式样本复杂度内学得。

Jun, 2022

学习稀疏图形均场博弈

本文提出了一种名为 LPGMFGs 的图论概念 $L^p$ graphons 的解法，该方法可以有效而准确地解决大型多智能体强化学习问题，特别是那些包括幂律网络等能用标准图论难以描述的问题。

Sep, 2022

破解多智体的诅咒：可证明的均值场增强学习中的均值嵌入 Q 迭代算法

本文研究多智能体协同学习中的代理对称性问题，提出基于平均场的分布式状态下的问题和解法，并针对提出的算法进行了非渐近分析，得出当观察代理数量增加时，算法性能将得到提高的结论。

Jun, 2020

多智能体强化学习中的图卷积值分解

该论文提出了一种新颖的基于图神经网络的多智能体深度强化学习价值函数分解框架，包括目标团队代理作为一组完整有向图的节点、采用注意机制进行边权重控制、推出混合 GNN 模块用于把团队状态 - 动作价值函数分解为单独智能体的观测 - 动作价值函数、显式接受损失分配。该方法称为 GraphMIX，能够优于当前最先进方法，可用于 StarCraft II 多智能体挑战基准测试中，同时能够改善智能体性能并使其适应更高数量和 / 或操作的不匹配测试情景。

Oct, 2020

协作异构多智能体强化学习的均场控制近似

本论文介绍了平均场控制理论（Mean field control）在解决包含 $N_{pop}$ 个异构 agents 的协作多智能体强化学习问题中的应用，提出了三个不同的情况，分别考虑了错误率有不同的误差上限。最后，提出一个基于自然策略梯度 (Natural Policy Gradient) 的算法以收敛到 MARL 的最优策略。

Sep, 2021