多智能体强化学习中通过时空顺序决策诱导斯塔克贝格均衡

Apr, 2023

多智能体强化学习中通过时空顺序决策诱导斯塔克贝格均衡

Inducing Stackelberg Equilibrium through Spatio-Temporal Sequential Decision-Making in Multi-Agent Reinforcement Learning

HTML

PDF

Bin Zhang, Lijuan Li, Zhiwei Xu, Dapeng Li, Guoliang Fan

TL;DR该论文提出了一种基于Stackelberg equilibrium的、具有异步行动协调的N级政策模型，通过共享条件超网络，使智能体可以学习不同的策略而不导致学习成本、存储成本以及扩展性的增加。实验证明，该模型在重复博弈场景中可以成功收敛到Stackelberg equilibrium，对于合作任务和混合任务的完成也表现非常出色。

Abstract

In multi-agent reinforcement learning (MARL), self-interested agents attempt to establish equilibrium and achieve coordination depending on game structure. However, existing MARL approaches are mostly bound by the simultaneous actions of all agents in the Markov game (MG) framework, an

发现论文，激发创造

具有非线性动力学的多智能体强化学习算法

使用加权策略学习器（Weighted Policy Learner）算法，基于本地奖励的反馈，实现了多智能体强化学习（MARL）算法在二人二选手博弈中寻找Nash Equilibrium的能力。与之前的算法相比，WPL不需要观察其他智能体动作和奖励，也不需要预先了解博弈本质和NE解，收敛表现优于现有的算法，并且在100个智能体交互中并行收敛。通过对WPL的动力学分析，可以更好地理解该算法的行为，分析WPL的收敛性比较困难，需要数值模拟求解动力学微分方程来验证其收敛性。

Jan, 2014

多智能体强化学习：理论和算法的选择性概述

本文在selective的视角下提供了多智能体强化学习领域的理论分析综述，重点关注Markov/stochastic games和extensive-form games框架下的MARL算法的理论结果，并突出了MARL理论的几个新角度和分类，探讨了在学习博弈论、分散式多智能体、平均场与（非）收敛、多类型任务等方面的有前途的未来研究方向。

Nov, 2019

一般和博弈中的斯塔克伯格均衡的高效学习

在嘈杂的赌徒反馈环境中，理论研究了 Stackelberg 均衡的样本有效学习，识别了 Stackelberg 均衡真实值与使用有限噪声样本估计版本之间的基本差距，并建立了与其相匹配的下限。

Feb, 2021

异质代理镜像学习：协作多智能体强化学习的一系列解决方案

本文介绍了一种名为异构代理镜像学习（HAML）的新型框架，该框架提供了一种通用的MARL算法设计模板，解决了在奖励单调性或收敛时的非最优性能问题，通过证明来自HAML模板的算法满足单调改进联合奖励和收敛到纳什均衡的期望属性，并通过在星际争霸II和多智能体MuJoCo任务中验证了HAML的实用性。

Aug, 2022

零和马尔可夫博弈中政策优化的更快收敛

本文提出了一种基于OMWU方法的单环路政策优化算法，并在二人零和马尔可夫博弈中，通过控制正则化的程度，实现了有限时间的最后一次线性收敛到达量子响应均衡点，并在全信息离散设置中实现了收敛结果。

Oct, 2022

深度多智能体强化学习中的斯塔克伯格均衡：神谕和追随者

本研究提出了一种将 Stackelberg 平衡搜索实现为多智能体强化学习问题的通用框架，并借助多任务和元强化学习技术实现了一种使用情境策略的方法，在标准和新颖的基准领域上进行了实验，并显示出较以前的方法大大提高的样本效率。同时，我们探讨了超出我们框架边界的算法设计所带来的影响。

Oct, 2022

无耦合学习承诺微分斯塔克尔贝格均衡

通过非耦合学习过程，本文提出一个新的学习规则，能够仅仅依靠每个玩家对其他玩家行为的观察，推动玩家向局部Stackelberg均衡演化，本规则对人工智能合作和多智能体强化学习具有潜在应用。

Feb, 2023

竞争自学时学习新兴行为的Stackelberg博弈

使用 Stackelberg Multi-Agent Deep Deterministic Policy Gradient (ST-MADDPG) 的算法，优化自我进化过程中的智能体沟通模式，提高多智能体学习的有效性和鲁棒性。

May, 2023

多智能体系统中异步行动协调的Stackelberg决策Transformer

该论文提出了一种解决多智能体系统中异步行动协调问题的方法——STEER，该方法结合了SG的分层决策结构、自回归序列模型的建模能力和MARL的探索学习方法，能够高效地管理空间和时间上的决策过程，实现异步协调，并在实验中得到验证。

May, 2023

基于人类反馈的多智能体强化学习：数据覆盖与算法技术

本研究解决了基于人类反馈的多智能体强化学习（MARLHF）的理论和实证基础，特别是从偏好数据集中识别纳什均衡的问题。通过确定单一策略覆盖不足的理论界限，强调了单方面数据集覆盖的重要性，并提出了时间轴上的均方误差正则化和模仿学习等算法技术，以提升实际性能。研究结果为基于偏好的多智能体系统的有效性奠定了基础。

Sep, 2024