Dec, 2019

用机器学习框架解决高维场均值博弈和场均值控制问题

PDF
TL;DR本文提出了一种基于机器学习的灵活框架以数值解决潜在的平均场博弈和平均场控制问题，该框架避免使用空间离散化并利用拉格朗日和欧拉观点相结合的方法来近似解决高维问题。在标准工作站上近似解决了 100 维最优传输和人群运动问题，并在二维上进行了欧拉求解器的验证。这些结果为先前无法通过现有数值方法处理的 MFG 和 MFC 模型的应用开启了大门。
mean field gamesmean field controlmachine learningnumerical solutionhigh-dimensional problems
发现论文，激发创造
  • 均场博弈和均场类型控制的数值方法

    本文回顾了关于数值方法在 Mean Field Games 及 Mean Field Control 类型问题中应用的各种方面，包括基于线性二次型、偏微分方程数值方案、Kolmogorov-Fokker-Planck 方程优化技巧、基于单调算子视角的方法以及依赖于机器学习工具的随机方法等。

    Jun, 2021

  • 针对均场博弈和控制问题的统一强化学习 Q-Learning

    本研究提出了一种强化学习算法，通过调整两个学习参数的比例，同一算法可以学习解决无限时间视角的均值场游戏与控制问题，并通过离散时间和空间中的智能体提供环境动作与状态分布来解决均值场问题。在连续时间和空间中展示渐进性均值场游戏与控制问题，并使用线性二次问题得到显式解作为算法结果的基准。

    Jun, 2020

  • 连续空间中的无限时间跨度均值场问题的深度强化学习

    我们提出了一种强化学习算法，用于以统一的方式解决连续空间均场博弈和均场控制问题。该算法使用参考分数函数和 Langevin 动力学来表示均场分布，通过在线方式高效地更新，并通过迭代更新，收敛于给定均场问题的均衡点或最优点。该算法可以简单修改以解决混合均场控制博弈，并在渐进无限时域框架中使用线性二次基准函数进行性能评估。

    Sep, 2023

  • 关于一般函数逼近的均场强化学习的统计效率

    本篇研究探讨了 Reinforcement Learning 在 Mean-Field Control 和 Mean-Field Game 中的统计效率，提出了基于 Optimistic Maximal Likelihood Estimation 的算法，并通过建立新概念 Mean-Field Model-Based Eluder Dimension 来解决一系列问题。同时，该研究结果展示了单智能体 RL、MFC 和 MFG 在样本效率方面存在根本差异。

    May, 2023

  • 学习平均场博弈：一项调查

    该论文综述如何运用强化学习和均值场博弈来解决无法通过传统方法计算的大规模人口问题，并针对静态、平稳和演变三个最常见的情境，提出一套基于最佳策略和策略评估的迭代方法以及没有模型计算的强化学习解决方案。

    May, 2022

  • 一个在线代理能够高效学习均场博弈

    使用在线样本，无需先验知识的状态 - 动作空间、奖励函数或转移动态，通过值函数 (Q) 更新策略，同时评估均场状态 (M)，以有效逼近固定点迭代 (FPI) 的两种变种的新型在线单智能体无模型学习方案的功效通过数值实验得到确认。

    May, 2024

  • 机器学习算法在数值均场控制和博弈中的收敛性分析：第 Ⅱ 部分 -- 有限时间域情形

    提出了两种基于神经网络参数的损失函数的数值方法，用于有限时间视野下的 McKean-Vlasov 动力学的最优控制，为确定如何近似于原始均场控制问题的解，引入了一种新的优化问题，并提供了误差率的严格说明。

    Aug, 2019

  • 基于均场博弈的可伸缩深度强化学习算法

    本文提出了两种方法解决深度强化学习算法在非线性函数逼近下，无法很好地处理 mean field games 的情况。第一种方法是通过神经网络将历史数据蒸馏为混合策略，应用于 Fictitious Play 算法。第二种方法是一种基于正则化的在线混合方法，不需要记忆历史数据或先前的评估，可以扩展在线 Mirror Descent 算法。数值实验表明，这些方法有效地实现了使用深度强化学习算法来解决各种 mean field games 的目的，并且这些方法的表现优于文献中的 SotA 基线。

    Mar, 2022

  • 离散时间主次均值场博弈的学习

    利用基于 M3FG（major-minor MFGs）的学习算法，我们提出了一种新的离散时间版本的 M3FG，能够解决具有强影响力的主要玩家的问题，并在三个实例问题中验证了该理论结果的实际效果，从而为一类广泛可解的博弈问题建立了学习框架。

    Dec, 2023

  • 协作异构多智能体强化学习的均场控制近似

    本论文介绍了平均场控制理论（Mean field control）在解决包含 $N_{pop}$ 个异构 agents 的协作多智能体强化学习问题中的应用，提出了三个不同的情况，分别考虑了错误率有不同的误差上限。最后，提出一个基于 自然策略梯度 (Natural Policy Gradient) 的算法以收敛到 MARL 的最优策略。

    Sep, 2021