对称团队学习中，局部最优解是全局 Nash 均衡

Jul, 2022

对称团队学习中，局部最优解是全局 Nash 均衡

For Learning in Symmetric Teams, Local Optima are Global Nash Equilibria

Scott Emmons, Caspar Oesterheld, Andrew Critch, Vincent Conitzer, Stuart Russell

TL;DR对于对称策略空间中的本地最优对称策略，该研究证明任何局部最优对称策略都是（全局）纳什均衡，这个结果适用于机器学习，并为找到对称策略空间中的局部最优的梯度方法提供全局性保证，最后，总结了研究结果在多智能体 RL，合作逆 RL 和分散式 POMDPs 中的应用。

Abstract

Although it has been known since the 1970s that a globally optimal strategy profile in a common-payoff game is a nash equilibrium, global optimality is a strict requirement that limits the result's applicability. In this work, we show that any locally optimal →

symmetric strategy profile nash equilibrium gradient method machine learning multi-agent rl

发现论文，激发创造

在零和游戏中发现局部纳什均衡（仅限局部纳什均衡）

本文提出了一种名为 local symplectic surgery 的算法，用于在二人零和博弈中寻找局部纳什均衡，并在两个数值案例中验证其有效性。

Jan, 2019

一种两人零和博弈的平均场分析

使用梯度下降法的粒子动态法可以在高维度的情况下找到两个玩家零和持续游戏中的混合纳什均衡，该方法对于训练对抗生成网络的混合模型是有效的。

Feb, 2020

在两队零和博弈中收敛到纳什均衡

研究内容涵盖电子竞技中的机器学习，多代理生成对抗网络的表现力，以及两队博弈中的优化问题和 Nash 均衡解的解决方案。通过考虑全信息反馈下的游戏，对在线学习算法的能力进行了讨论，并提出了一个基于控制论技术的一阶方法用于解决该类问题，该方法能够在某些条件下享有局部收敛性。

Nov, 2021

非凹博弈中可解的局部均衡

在非凸博弈中，通过在线梯度下降和无悔学习等方法可以有效地收敛到具有光滑效用函数的博弈中的局部均衡状态。

Mar, 2024

通过收益查询学习博弈的均衡

本文研究了基于局部知识来学习研究各种类型的博弈及其均衡求解的复杂度，探讨了计算学习模型和对于各种博弈的查询复杂度，着重研究了对称网络拥塞博弈，并通过仅查询少量的纯策略来学习成本函数。

Feb, 2013

在马尔科夫博弈中我们能以线性速率找到纳什均衡吗？

研究了两个玩家的零和博弈下去中心化学习问题，提出了一种名为 Homotopy-PO 的元算法，通过交替使用本地快速算法和全局缓慢算法，使得机器人之间的政策收敛到了较稳健的纳什均衡状态，同时深入分析了算法的收敛性和性能。

Mar, 2023

竞争性梯度下降

本文提出了一种用于计算竞争性双人游戏纳什均衡的新算法，该算法基于正则化双线性局部逼近的纳什均衡，避免了交替梯度下降中出现的振荡和发散，而且在达到指数级 (局部) 收敛性的同时，其收敛和稳定性的性质对于玩家之间的强交互是稳健的，具有更快的收敛速度。

May, 2019

策略优化在零和线性二次博弈中可以证明收敛到纳什均衡

研究线性二次游戏中政策优化寻找纳什均衡的全局收敛性，开发了三种投影嵌套 - 梯度方法并给出了满意的收敛性证明和模拟结果，是对零和 Markov 博弈政策优化强化学习算法理论方面的探索。

May, 2019

学习深度模型：临界点和局部开放性

该篇论文提出了一个统一框架，确定了训练非凸模型产生的优化问题的局部 / 全局最优等价性，讨论了线性神经网络和具有一定金字塔结构的非线性深层模型的局部 / 全局最优等价性，并提供了简单的充分条件。

Mar, 2018

大规模零和博弈均衡计算的统一视角

本文研究如何在大型零和博弈中计算近似纳什均衡，提出两种方法：无悔在线学习和基于凸凹点公式的梯度方法，并尝试将两种方法进行整合。

Nov, 2014