多智能体强化学习中通过时空顺序决策诱导斯塔克贝格均衡

IJCAIApr, 2023

多智能体强化学习中通过时空顺序决策诱导斯塔克贝格均衡

Inducing Stackelberg Equilibrium through Spatio-Temporal Sequential Decision-Making in Multi-Agent Reinforcement Learning

PDF

Bin Zhang, Lijuan Li, Zhiwei Xu, Dapeng Li, Guoliang Fan

TL;DR该论文提出了一种基于 Stackelberg equilibrium 的、具有异步行动协调的 N 级政策模型，通过共享条件超网络，使智能体可以学习不同的策略而不导致学习成本、存储成本以及扩展性的增加。实验证明，该模型在重复博弈场景中可以成功收敛到 Stackelberg equilibrium，对于合作任务和混合任务的完成也表现非常出色。

Abstract

In multi-agent reinforcement learning (MARL), self-interested agents attempt to establish equilibrium and achieve coordination depending on game structure. However, existing MARL approaches are mostly bound by the simultaneous actions of all agents in the Markov game (MG) framework, an

multi-agent reinforcement learning stackelberg equilibrium asynchronous action coordination policy model sequential decision-making

发现论文，激发创造

多智能体系统中异步行动协调的 Stackelberg 决策 Transformer

该论文提出了一种解决多智能体系统中异步行动协调问题的方法 ——STEER，该方法结合了 SG 的分层决策结构、自回归序列模型的建模能力和 MARL 的探索学习方法，能够高效地管理空间和时间上的决策过程，实现异步协调，并在实验中得到验证。

May, 2023

多智能体协同的双层演员 - 评论家模型

本研究探讨多智能体强化学习中的协作问题，提出一种能够找到斯塔克伯格均衡的双层演员 - 评论家学习方法，并进行了收敛性证明和实验验证。

Sep, 2019

具势函数的非零和随机博弈中的学习

本文介绍了一种新一代的多智能体强化学习方法 SPot-AC，可用于处理非零和付结构和连续设置的随机潜在游戏中，证明了该方法能够使独立代理人在多项式时间内学习纳什均衡策略，在 Coordination Navigation 和大规模自私路由游戏等难以解决的任务方面表现出色，并在这些场景中优于 MADDPG 和 COMIX 等前沿方法。

Mar, 2021

多智体决策的复杂性：从博弈中的学习到部分监控

本文研究了多智能体强化学习中的样本效率、均衡计算和统计复杂性等问题，提出了一系列新的结构性结果，并阐述了决策时附带隐藏报酬的统计复杂度。

May, 2023

网络系统控制的多智能体强化学习

本文研究了网络系统控制中的多智能体强化学习问题，提出了基于空间折扣因子的 NMARL 问题并引入了一种可微的通信协议 NeurComm 以提高学习效率和控制性能。实验结果表明，合适的空间折扣因子可以有效提高 MARL 算法的非通讯性学习曲线，而 NeurComm 在学习效率和控制性能方面均优于现有的通信协议。

Apr, 2020

零和马尔可夫博弈的分散式 Q 学习

本研究在非协调控制下，针对无限期、折现、零和马尔可夫博弈中的多智能体强化学习进行了研究。提出了一种无限期 Q 学习动态，该学习动态在没有集中控制器的情况下收敛到 Nash 均衡点，并且可以有效应对非固定环境的挑战。

Jun, 2021

随机斯塔克伯格安全博弈的无模型强化学习

本文提出了一种基于预期 Sarsa 的强化学习算法，使用粒子筛选器估计共同代理的信念更新，并以安全游戏示例说明了所学习的策略。

May, 2020

改进分散式多智能体强化学习的无模型算法

本文针对多智能体强化学习算法在代理数目增多时出现的采样复杂度指数级增长的现象，提出了一些去中心化的学习算法，并在几个关键的方面上做了优化，同时通过数值仿真验证我们理论的有效性。

Oct, 2021

高效的样本有效的多智能体强化学习：优化视角

我们研究了多智能体强化学习 (MARL) 在一般和马尔可夫博弈 (MG) 下具有一般函数逼近的情况。通过引入一种新颖的复杂度度量，即多智能体解耦系数 (MADC)，我们旨在找到基于样本高效学习的最小假设。利用该度量，我们提出了首个统一的算法框架，可以在低 MADC 的情况下保证在模型为基础和模型无关的 MARL 问题中学习纳什均衡、粗粒度相关均衡和相关均衡的样本效率性。此外，我们还展示了与现有工作相比，我们的算法提供了可比较的次线性遗憾。此外，我们的算法结合了一个均衡求解器和一个单一目标优化次程序，用于求解每个确定性联合策略的正则化收益，从而避免在数据相关的约束条件下求解约束优化问题 (Jin et al. 2020; Wang et al. 2023)，或在复杂的多目标优化问题 (Foster et al. 2023) 中执行抽样过程，因此更适合于实证实现。

Oct, 2023

具有层次信息结构的去中心化协作强化学习

本文提出了一种简单有效的分层信息结构用于多智能体强化学习中的多臂赌博机和马尔可夫决策过程问题，以求克服智能体间的信息不对称带来的挑战，并给出了相应的近似最优的遗憾界。

Nov, 2021