无遗憾学习和混合纳什均衡：不能相互混合

Oct, 2020

无遗憾学习和混合纳什均衡：不能相互混合

No-regreet learning and mixed Nash equilibria: They do not mix

Lampros Flokas, Emmanouil-Vasileios Vlatakis-Gkaragkounis, Thanasis Lianeas, Panayotis Mertikopoulos, Georgios Piliouras

TL;DR本文研究了no-regret动力学中最常被考虑的动态系统之一 - Follow-the-regularized-leader的行为，证明了非严格的纳什均衡对于no-regret学习是不稳定的且不能吸引该动态系统的稳定状态，因此只有严格的纳什均衡是no-regret动力学的稳定限制点。

Abstract

Understanding the behavior of no-regret dynamics in general $N$-player games is a fundamental question in online learning and game theory. A folk result in the field states that, in finite games, the empirical frequency of play under no-regret learning converges to the game's set of co

发现论文，激发创造

零和博弈中快速且强烈学习：在非消失步长时消失后悔

我们展示了一种称为"Fast and Furious"的学习方法，使得在二人零和博弈中时间平均遗憾减少且步长不为零成为可能，此学习方法为最小化-最大化优化和多智能体系统中的研究提供了新的标杆，即使是在最简单的情况下，我们的研究证明该方法的遗憾界限为$\Theta(\sqrt{T})$，在学习率固定的情况下也会稳定收敛于确切的纳什均衡价值。

May, 2019

广义博弈中简单非耦合无悔学习动态

本文研究了在完备回忆且n个玩家泛化和值和的博弈中，如何从简单无耦合的后悔最小化学习动力学中导出EFCE。研究结果提供了第一个收敛于EFCE的无耦合动力学，为该领域解决了开放性问题。

Apr, 2021

连续博弈中的自适应学习：最优遗憾边界和纳什均衡收敛

本文提出了一种基于乐观的镜像下降的无悔策略算法，可以在非稳态环境下实现O(sqrt(T))的后悔度，并可在变分稳定游戏中收敛到纳什均衡。

Apr, 2021

多人零和游戏中相关均衡的几乎最优无悔学习

提出了新的技术，将DFG的技术用于解决内部遗憾和交换遗憾，从而使得多人游戏中的学习动态能够收敛到近似相关均衡，同时分析了Blum和Mansour算法中的近似最优遗憾保证。

Nov, 2021

对抗无悔玩家

研究使用无遗憾算法在正态形式重复的N人博弈中，如何让人类玩家获得最大化效用，引入Stackelberg均衡和相关Stackelberg均衡的概念，证明玩家能够在每个回合至少保证相关Stackelberg期望值的效用。

Feb, 2022

游戏学习对学习者是否有益？

研究了两个智能体在重复对局中报酬和悔恨之间的权衡，提出了一种广义均衡概念，讨论了不同对手情况下的最优战略和可行方案，探究了利用这种广义均衡学习最优策略的方法。

May, 2023

正则化学习下游戏中动态稳定性和战略稳定性的等效性

通过研究正则化的无悔学习方法在有限游戏中的长期行为，我们发现玩家的实际策略如何随时间演变的理解非常有限，同时发现只有严格纳什均衡是稳定吸引的，进而揭示了玩家的日常对策的集合有理性的特性。我们进一步刻画了相应集合的稳定和收敛速率，并表明基于熵正则化的方法以几何速度收敛，而基于投影的方法在有限次迭代内收敛，即使是在带有被动反馈的并发奖励的情况下。

Nov, 2023

$\widetilde{O}(T^{-1})$ 在全信息General-Sum Markov Games中收敛到（粗糙）相关均衡

使用乐观跟随正则化领导者算法结合适当的价值更新过程，在全信息一般和马尔可夫博弈中找到近似于O(T^-1)粗糙相关均衡。

Feb, 2024

有限游戏的几何分解：无遗憾学习下的收敛与循环

基于Riemannian框架和Shahshahani度量，在无悔学习中研究了复杂动力学的分解，发现无悔动力学在体积保持和收敛性方面具有特殊特征，并与潜势和谐波分解存在深层关联。

May, 2024

无悔学习中的福利最大化障碍

本研究针对在无悔学习中如何达到均衡的问题，提出了对两人（一般总和）博弈中计算下界的首次探讨，强调了所需迭代次数。研究者通过证明计算近似最优 $T$ 稀疏协调均衡的下界，从而限制了无悔学习的迭代复杂性，并表明最大团的不可近似性阻碍了在多项式时间内实现任何非平凡稀疏化的可能性。

Nov, 2024