该论文综述如何运用强化学习和均值场博弈来解决无法通过传统方法计算的大规模人口问题，并针对静态、平稳和演变三个最常见的情境，提出一套基于最佳策略和策略评估的迭代方法以及没有模型计算的强化学习解决方案。

May, 2022

本文介绍了一种结合了均场博弈和马尔科夫决策过程的模型，该模型能够解决大规模群体行为的表示和分布预测问题。通过深度逆强化学习，模型可以从真实数据中学习到均场博弈中的奖励函数和前向动态，以推断大型实际系统的均场博弈模型。首次将均场博弈模型应用到社交媒体人口研究领域。

Nov, 2017

本文提出了两种方法解决深度强化学习算法在非线性函数逼近下，无法很好地处理 mean field games 的情况。第一种方法是通过神经网络将历史数据蒸馏为混合策略，应用于 Fictitious Play 算法。第二种方法是一种基于正则化的在线混合方法，不需要记忆历史数据或先前的评估，可以扩展在线 Mirror Descent 算法。数值实验表明，这些方法有效地实现了使用深度强化学习算法来解决各种 mean field games 的目的，并且这些方法的表现优于文献中的 SotA 基线。

Mar, 2022

利用机器学习中的泛化功能，我们研究如何学习政策，使典型代理能够针对任何人口分布表现最佳。我们提出了一种方法来学习这样的 Master 策略，并且证明了单个 Master 策略提供了纳什均衡。我们的方法基于三个方面：将当前人口分布添加为观察的一部分，使用神经网络逼近 Master 策略，使用强化学习和虚拟博弈进行训练。我们通过数值示例展示了所学习的 Master 策略的高效性以及其超越训练中使用的分布的推广能力。

Sep, 2021

该研究表明，均场博弈论（MFGs）是解释、增强和设计生成模型的数学框架，该文研究了 MFGs 与基于流和扩散的几种生成模型之间的关系，并探讨了 MFGs 的最优性条件及其算法应用。

Apr, 2023

使用在线样本，无需先验知识的状态 - 动作空间、奖励函数或转移动态，通过值函数 (Q) 更新策略，同时评估均场状态 (M)，以有效逼近固定点迭代 (FPI) 的两种变种的新型在线单智能体无模型学习方案的功效通过数值实验得到确认。

May, 2024

该研究利用粗糙路径理论提出了一种名为签名深度虚拟博弈的新型单环算法，可避免嵌套循环结构以及显著降低计算复杂度，保证了 MFGs 的求解效率和精度，并在线性二次平均场博弈、均值场组合博弈和最优消费和投资的均值场博弈等应用中得到了支持。此外，该论文还报道了首次使用深度学习处理带有共通噪声的扩展 MFGs。

Jun, 2021

该论文提出了一个通用平均场博弈（GMFG）框架，用于解决具有大量人口的随机博弈中的学习和决策问题。它提出了一种使用玻尔兹曼策略（GMF-Q）的 Q 学习算法，并进行了收敛性质和计算复杂度的分析。实验表明该 GMF-Q 算法在收敛性和学习精度方面高效稳健，比现有的多智能体强化学习算法具有更好的性能。

Jan, 2019

本文研究了均场博弈中的模仿学习问题，引入了 Nash 模仿差作为新的解决方案，研究发现在仅收益需求受到人口分布影响时，该问题等价于单智能体模仿学习，并给出了适用于整体系统动力学的新的上界限定。

Jun, 2023

研究了一种大规模人口动态博弈，涉及非线性随机动力学系统，通过 ε-Nash 平均场博弈理论解决了被混合代理 MFG 问题，其中即使在渐近情况下，主代理的噪声过程也会引起次要代理的均值场行为的随机波动，该问题被拆分为两个非标准随机最优控制问题和两个随机系数 Mckean-Vlasov 方程，用随机概率测度的 Wasserstein 空间的固定点论证明了随机均场博弈系统（SHJB 和 SMV 方程）的解的存在和唯一性，在仅通过其成本函数将次要代理与主代理耦合的情况下，对于一个有限的 N 人群体系 O（1/√N），证明了 SMFG 最优反应的 εNash 平衡属性。

Sep, 2012