研究了带有领导者和追随者的多人普遍和马尔可夫博弈，关注追随者为短视的情况，在在线和离线设置下开发了一些优化和悲观变种的最小二乘值迭代的强化学习算法以求得 Stackelberg-Nash 均衡 (SNE)。它们可在大状态空间的函数逼近工具中简单应用，并在具有线性函数逼近的情况下分别在在线和离线设置下证明了亚线性遗憾和亚最优性，为解决追随者为短视的普遍和马尔可夫博弈的 SNE 建立了第一个可以被证明高效的强化学习算法。

Dec, 2021

本论文提出了一种新的方法来近似求解弱 Stackelberg 均衡，方法基于 Follower 策略空间的引导式 Monte Carlo 树搜索和 Leader 的行为策略树建立，并在用于三个不同拓扑结构的博弈测试中取得了优异的效果，较传统方法更具实用性和时间可扩展性。

Sep, 2019

我们研究了分布式和策略性在线学习问题，通过对不完全信息和附加信息两种不同情境进行研究，发现追随者在有限信息情境中按照局部最优策略响应领导者的行动，然而在附加信息情境中，追随者可以通过策略性行动操控领导者的奖励信号，以使得领导者的策略收敛到对自己更有利的均衡状态。基于这些洞察，我们针对这两种情境研究了分布式在线学习，主要贡献是提出了最后迭代收敛和样本复杂度方面的结果。尤其值得注意的是，我们设计了一种新的操控策略，用于处理附加信息情境，并证明它相对于最优应对策略具有内在优势。我们的理论结果也得到了实证结果的支持。

May, 2024

本文探讨了多人博弈中学习的样本复杂性问题，并设计算法在样本复杂度多项式级别下，求解多人一般和马尔可夫博弈的粗略关联均衡和关联均衡，同时提出了针对特定条件下的学习算法，显著提高了现有算法的效率和精度。

Oct, 2021

本文研究了斯塔克伯格博弈中学习动态的收敛性，并提出了一种基于梯度的学习更新规则，用于训练生成对抗网络。

Jun, 2019

本研究提出了一种将 Stackelberg 平衡搜索实现为多智能体强化学习问题的通用框架，并借助多任务和元强化学习技术实现了一种使用情境策略的方法，在标准和新颖的基准领域上进行了实验，并显示出较以前的方法大大提高的样本效率。同时，我们探讨了超出我们框架边界的算法设计所带来的影响。

Oct, 2022

本文提出了一种基于预期 Sarsa 的强化学习算法，使用粒子筛选器估计共同代理的信念更新，并以安全游戏示例说明了所学习的策略。

May, 2020

通过非耦合学习过程，本文提出一个新的学习规则，能够仅仅依靠每个玩家对其他玩家行为的观察，推动玩家向局部 Stackelberg 均衡演化，本规则对人工智能合作和多智能体强化学习具有潜在应用。

Feb, 2023

研究了强化学习在具有领导者 - 追随者结构的情境马尔可夫博弈中学习 Quantal Stackelberg Equilibrium 的问题，提出了基于函数逼近的在线和离线问题的高效算法，利用最大似然估计来学习追随者的量化响应模型，并结合模型自由或基于模型的强化学习解决领导者的决策问题，同时利用不确定性来实现对乐观和悲观算法的估计，并在线性和短视场景下具备计算效率。

Jul, 2023

本研究提出了一种基于 Stackelberg 的学习算法，用于批量强化学习中的政策学习问题，通过采用领导者 - 追随者结构的博弈论视角，该算法具有收敛性保证和对不同 iable Stackelberg 均衡的收敛性保证，实验证明其在批处理强化学习基准和真实世界数据集上表现良好。

Sep, 2023