Oct, 2022

通用和随机博弈纳什均衡学习的去中心化策略梯度

PDF
TL;DR研究了一种具有未知转移概率密度函数的一般和随机游戏的纳什平衡学习。介绍一种加权渐近纳什均衡的概念，并提出了两种算法，一种是针对精确伪梯度的，另一种是针对未知伪梯度的。
stochastic gamenash equilibriumvariational inequalitydecentralized algorithmmonte-carlo simulations
发现论文，激发创造
  • 未知独立链 $n$- 人随机博弈中纳什均衡策略的可扩展与独立学习

    在一种类别的随机博弈中，利用自治的镜面下降算法通过占用测量和置信区间技术提出了一种学习算法，以构建稳定的 ε-NE 策略集合，并证明了其多项式时间收敛性。

    Dec, 2023

  • 无限时段竞争马尔可夫博弈中分散乐观梯度下降 / 上升的最后迭代收敛

    研究无穷时间折扣二人零和马尔可夫博弈，开发了一种分散算法，自我对弈时能够收敛到 Nash 均衡点。

    Feb, 2021

  • 竞争性梯度下降

    本文提出了一种用于计算竞争性双人游戏纳什均衡的新算法，该算法基于正则化双线性局部逼近的纳什均衡，避免了交替梯度下降中出现的振荡和发散，而且在达到指数级 (局部) 收敛性的同时，其收敛和稳定性的性质对于玩家之间的强交互是稳健的，具有更快的收敛速度。

    May, 2019

  • 通用和随机游戏的梯度下降方案研究

    本文研究一种梯度方案对两个玩家的随机博弈进行求解，并在模拟中显示该方案确实收敛到 Nash 均衡解。但如果只在目标函数的全局最小值处才能达到最优解，当渐近接近时仅能到达局部极小值，本文阐明了梯度方案收敛于广义和随机游戏中纳什均衡的重要必要条件。

    Jul, 2015

  • 连续游戏中基于梯度的学习

    本研究提出了一个广泛适用于多智能体领域的竞争性基于梯度的学习模型，并使用动态系统理论对其进行了分析，对于有限和无限游戏，我们表征了一组非常小的局部纳什均衡，这组均衡将被激活，如果每个智能体采用基于梯度的学习算法。同时研究了基于算法自身构建的不属于纳什均衡的收敛策略在有限和无限游戏中的存在性，这可能解释了在零和游戏中，应用相关算法时出现的困难。最后，为了验证理论贡献，我们给出了一个示例验证。

    Apr, 2018

  • 去中心化一般和马尔可夫博弈中具有可证明效率的强化学习

    本文提出了一种多智能体强化学习算法，可以在一般和马尔可夫博弈中学习到一个粗略的相关均衡策略，并且算法是完全分散的，智能体只有本地信息，并不知道其他智能体的存在。

    Oct, 2021

  • 动态定价中 n 人马尔可夫博弈的近似纳什均衡学习

    本文研究了具有竞争性的马尔可夫游戏中的 Nash 均衡学习，使用了一种新的无模型方法找到近似 Nash 均衡，其中策略 - ε 对应性和状态至 ε- 最小策略是用神经网络表示的。在动态价格领域，可以学习到近似的 Nash 均衡。

    Jul, 2022

  • 弱可达情况下的零和马尔可夫博弈纳什均衡学习

    通过利用 Tsallis 熵正则化的值迭代方法，我们提出了一种合理且收敛的算法，在弱条件下以无耦合和单时间尺度算法的方式高效地实现了近似纳什均衡。该算法在多项式时间内学习近似纳什均衡，仅需要存在一个诱导不可约和非周期性马尔可夫链的策略对，从而明显减弱了过去的假设。我们的分析利用了负漂移不等式，并引入了 Tsallis 熵的新特性，这些特性具有独立的研究价值。

    Dec, 2023

  • 连续对局中的最小信息学习

    通过引入一种随机学习过程 - 阻尼梯度逼近，我们在本文中为具有连续行动集的博弈设计了一种学习过程，它是基于收益的，因此不需要玩家有策略上的认知或关于游戏的知识，我们还证明了在大部分博弈中玩家可以收敛于 Nash 均衡点。

    Jun, 2018

  • 策略梯度算法在线性二次博弈中没有收敛保证

    本文章主要对多智能体马尔可夫决策过程中的政策梯度算法进行研究，经由分析线性二次博弈的梯度播放，得到该算法并不存在全局收敛到 Nash 平衡点的保证，且通过实验发现此类情况并不少见。

    Jul, 2019