May, 2024

广义和谐史塔克伯格博弈中的去中心化在线学习

HTML
PDF
TL;DR我们研究了分布式和策略性在线学习问题，通过对不完全信息和附加信息两种不同情境进行研究，发现追随者在有限信息情境中按照局部最优策略响应领导者的行动，然而在附加信息情境中，追随者可以通过策略性行动操控领导者的奖励信号，以使得领导者的策略收敛到对自己更有利的均衡状态。基于这些洞察，我们针对这两种情境研究了分布式在线学习，主要贡献是提出了最后迭代收敛和样本复杂度方面的结果。尤其值得注意的是，我们设计了一种新的操控策略，用于处理附加信息情境，并证明它相对于最优应对策略具有内在优势。我们的理论结果也得到了实证结果的支持。
发现论文，激发创造
  • 斯塔克贝格博弈中的学习动态收敛

    本文研究了斯塔克伯格博弈中学习动态的收敛性，并提出了一种基于梯度的学习更新规则，用于训练生成对抗网络。

    Jun, 2019

  • 无遗憾学习和混合纳什均衡：不能相互混合

    本文研究了no-regret动力学中最常被考虑的动态系统之一 - Follow-the-regularized-leader的行为，证明了非严格的纳什均衡对于no-regret学习是不稳定的且不能吸引该动态系统的稳定状态，因此只有严格的纳什均衡是no-regret动力学的稳定限制点。

    Oct, 2020

  • 一般和博弈中的斯塔克伯格均衡的高效学习

    在嘈杂的赌徒反馈环境中，理论研究了 Stackelberg 均衡的样本有效学习，识别了 Stackelberg 均衡真实值与使用有限噪声样本估计版本之间的基本差距，并建立了与其相匹配的下限。

    Feb, 2021

  • 去中心化一般和马尔可夫博弈中具有可证明效率的强化学习

    本文提出了一种多智能体强化学习算法，可以在一般和马尔可夫博弈中学习到一个粗略的相关均衡策略，并且算法是完全分散的，智能体只有本地信息，并不知道其他智能体的存在。

    Oct, 2021

  • 强化学习在一般和马尔可夫博弈中可以发现贝叶斯纳什均衡吗？

    研究了带有领导者和追随者的多人普遍和马尔可夫博弈，关注追随者为短视的情况，在在线和离线设置下开发了一些优化和悲观变种的最小二乘值迭代的强化学习算法以求得Stackelberg-Nash均衡(SNE)。它们可在大状态空间的函数逼近工具中简单应用，并在具有线性函数逼近的情况下分别在在线和离线设置下证明了亚线性遗憾和亚最优性，为解决追随者为短视的普遍和马尔可夫博弈的SNE建立了第一个可以被证明高效的强化学习算法。

    Dec, 2021

  • 对抗无悔玩家

    研究使用无遗憾算法在正态形式重复的N人博弈中，如何让人类玩家获得最大化效用，引入Stackelberg均衡和相关Stackelberg均衡的概念，证明玩家能够在每个回合至少保证相关Stackelberg期望值的效用。

    Feb, 2022

  • 无耦合学习承诺微分斯塔克尔贝格均衡

    通过非耦合学习过程，本文提出一个新的学习规则，能够仅仅依靠每个玩家对其他玩家行为的观察，推动玩家向局部Stackelberg均衡演化，本规则对人工智能合作和多智能体强化学习具有潜在应用。

    Feb, 2023

  • 基于侧信息的斯塔克伯格博弈中的遗憾最小化

    Stackelberg博弈是算法博弈论的一个重要应用，通过引入附加信息和在线设置，可以实现无遗憾学习。

    Feb, 2024

  • 分散学习对斯塔克尔贝格博弈中玩家效用的影响

    探讨了两个学习代理（如推荐系统或聊天机器人）相互交流并独立学习的情况下，每个代理的目标和效用如何受到影响，并提出了一种宽容于小学习误差的放松后的后悔基准，以及相应的学习算法，实现了接近最优水平的后悔率。

    Feb, 2024

  • 一般和博弈中的去中心化学习

    本研究针对在动态和不确定的社会系统中，多代理间异质效用交互的去中心化学习算法设计与分析存在的空白，提出一种基于马尔可夫近势函数（MNPF）的新方法，以保证算法能够收敛到近似纳什均衡。研究表明，该方法能有效应对多代理系统中的学习收敛问题，并提供新的视角来分析去中心化算法的设计。

    Sep, 2024