Oct, 2023

虚构交互：混合合作竞争游戏中全局纳什平衡的学习

PDF
TL;DR该研究开发了一种新算法，名为 Fictitious Cross-Play（FXP），同时训练了基于自我博弈和交叉博弈的主策略和反应策略，并在矩阵游戏中证明了 FXP 能够收敛到全局纳什均衡点，而自我博弈方法则无法达到。
self-playmulti-agent reinforcement learningcompetitive gamespolicy-space response oraclesfictitious cross-play
发现论文，激发创造
  • 融合 - PSRO：策略空间响应预言的纳什策略融合

    为了解决非传递性的零和游戏问题，该研究提出了一种名为 Fusion-PSRO 的方法，通过模型融合初始化策略，以更好逼近最佳反应策略，并在非传递性矩阵游戏和复杂 Liars Dice 等实验中验证了其在提高几乎所有 PSRO 变体性能方面的有效性。

    May, 2024

  • 竞技游戏离线虚构自我对弈

    该研究介绍了 Off-FSP，这是第一个面向竞技游戏的实用无模型离线 RL 算法。通过调整固定数据集的权重以重要性采样的方式与各种对手进行模拟交互，学习最佳响应以及应用离线自我对弈学习框架，并进一步实现虚构自我对弈 (FSP) 以近似纳什均衡 (NE)，在部分覆盖的真实世界数据集中，我们的方法显示出通过融合任何单代理离线 RL 方法接近 NE 的潜力。在 Leduc Hold'em Poker 的实验证明了我们的方法与最先进的基准算法相比显著提高性能。

    Feb, 2024

  • 多智能体学习的通用训练方法

    本文基于博弈论原理研究了一种基于人口统计的培训体系 —— 策略空间响应神谕（PSRO），并将其扩展到广义和多人游戏中。通过使用另一种解决方案概念 $\alpha$-Rank，在一些游戏分类中建立了收敛保证，并确定了 Nash 平衡和 $\alpha$-Rank 之间的联系。实验结果表明，基于 $\alpha$-Rank 的 PSRO 可以在很多游戏中实现比近似 Nash Solver 更快的收敛速度。

    Sep, 2019

  • 在博弈论强化学习中，结合树搜索、生成模型和纳什谈判概念

    本文介绍了一种增强型多智能体系统训练框架 PSRO（Policy-Space Response Oracles），并通过添加一种新颖的搜索程序和生成抽样方法进行增强，进一步引入了基于 Nash 议价解的两种新元策略解决方法。在谈判博弈中进行的实验表明，这种方法能够成功地计算近似 Nash 平衡，并且可以产生与人类谈判相当的代理人。

    Feb, 2023

  • ELF Mini-RTS 上的神经虚构自我对弈

    本研究通过应用神经虚拟自我博弈（Neural Fictitious Self-Play，NFSP）和策略梯度强化学习方法，实现了在小型 RTS 游戏上寻找纳什均衡的目标，并且通过预先使用策略梯度自我博弈来预训练模型，成功提高 NFSP 的可扩展性。

    Feb, 2019

  • 关于虚拟博弈收敛性问题的分解方法研究

    本文扩展了虚拟博弈在混合博弈中的收敛结果，发现合作和竞争具有互相可转换的线性关系，并研究了 FP 在 Shapley game 中的非收敛现象及其充分条件。

    May, 2022

  • 单策略最佳响应下的迭代经验博弈求解

    通过将经验博弈分析与深度强化学习相互交错，Policy-Space Response Oracles（PSRO）是一种用于学习多智能体系统中的策略的通用算法框架，其在每次迭代中使用深度强化学习来训练最佳响应，从而减少了模拟调整所需的计算量。我们介绍了两种 PSRO 的变体，旨在减少 Deep RL 训练期间需要的模拟量，分别是 Mixed-Oracles 和 Mixed-Opponents。这些算法在减少训练所需的模拟量的同时，实验证明产生了与游戏等价或更好的解决方案。

    Jun, 2021

  • 具势函数的非零和随机博弈中的学习

    本文介绍了一种新一代的多智能体强化学习方法 SPot-AC，可用于处理非零和付结构和连续设置的随机潜在游戏中，证明了该方法能够使独立代理人在多项式时间内学习纳什均衡策略，在 Coordination Navigation 和大规模自私路由游戏等难以解决的任务方面表现出色，并在这些场景中优于 MADDPG 和 COMIX 等前沿方法。

    Mar, 2021

  • 不完美信息游戏中来自自我对弈的深度强化学习

    本文介绍了一种可推广的终端到终端学习方法，结合了虚构自游戏和深度强化学习来学习近似 Nash 均衡。在 Leduc 扑克和真实规模的 Limit Texas Holdem 游戏中，NFSP 相比于传统强化学习方法，接近甚至超过了基于领域知识经验的超级算法。

    Mar, 2016

  • 高效的策略空间响应预测

    该研究提出了 Efficient PSRO 方法来解决传统 Policy Space Response Oracle 方法中存在的计算和探索效率低的问题，通过引入 no-regret optimization 和 parallelization 等技术，有效地优化了算法，在保证 Kuhn 和 Leduc Poker 博弈中的可利用度的情况下，提高了 50x 的速度和 10 倍的数据效率。

    Jan, 2022