Aug, 2024

具有函数逼近和经验平均场估计的均场博弈网络通信

HTML
PDF
TL;DR本研究解决了现有均场博弈算法在处理大规模状态空间和群体依赖政策时的局限性。通过引入函数逼近和新的算法，使得去中心化代理能够基于局部邻域估计全局经验分布并通过通信优化这一估计。实验结果显示，网络化代理在功能逼近设置中优于独立和集中代理，揭示了通信在均场博弈中的潜在影响。
发现论文，激发创造
  • 均场多智能体强化学习

    本文介绍了平均场强化学习方法，通过该方法可以近似处理不同智能体之间的互动，同时开发了多个实际的基于Q-learning和Actor-Critic的平均场算法模型，并分析了解决纳什均衡的收敛性，在高斯挤压、伊辛模型和博弈游戏等实验中验证了本方法的有效性。同时，作者报告了使用无模型的强化学习方法成功解决了伊辛模型问题。

    Feb, 2018

  • 线性-二次均场强化学习：策略梯度方法的收敛性

    研究如何通过强化学习来解决机器人之间进行优化的问题，证明了基于策略梯度方法的算法在均值场问题中能够收敛。

    Oct, 2019

  • 使用在线镜像下降方法扩展均值场博弈

    本研究使用在线镜像下降法（OMD）解决均值场游戏（MFG）中均衡计算的扩展性问题，在一系列合理的单调性假设下，证明连续时间OMD可收敛于纳什均衡，这一理论结果良好地扩展至多人口游戏和涉及共同噪声的设置。经过全面的实验研究，OMD优于传统算法，如虚拟游戏（FP），以前所未有的速度解决了数十亿个状态的MFG实例。这项研究在大规模多代理和多人口游戏的学习方面确立了最新的状态。

    Feb, 2021

  • 学习图论均场博弈与近似纳什均衡

    以非线性稠密图马尔可夫游戏为极限，提出了图分块场博弈的新离散时间公式，并通过正则化最优控制解和其生成的平均场重复发现策略梯度加强学习，成功获得在众多玩家的场景中可行的近似纳什均衡。

    Nov, 2021

  • 具有网络信息流的一般总和随机博弈

    本文研究了基于随机博弈模型的多智能体强化学习中，网络结构化玩家相互作用，混合合作与竞争以及有限的全局信息对于个体决策造成的挑战以及信息可用性对于不同学习范式的影响。并通过实验，探索了不同 MARL 范式的结果，例如集中式学习分散式执行。

    May, 2022

  • 学习平均场博弈：一项调查

    该论文综述如何运用强化学习和均值场博弈来解决无法通过传统方法计算的大规模人口问题，并针对静态、平稳和演变三个最常见的情境，提出一套基于最佳策略和策略评估的迭代方法以及没有模型计算的强化学习解决方案。

    May, 2022

  • 面向人群大小的平均场博弈策略优化

    本文提出了一种名为PAPO的方法，通过结合增强和超网络的方式，在同时考虑人口数量和生成策略的前提下，进行不同人口数量游戏的策略优化，并在多个环境中进行了实验和分析，验证了该方法在群体博弈中取得了非常显著的优越性。

    Feb, 2023

  • 平均场博弈中分散代理的网络通信

    本研究将网络通信引入到平均场博弈框架中，通过分散学习来改善纯独立学习的情况，并通过理论和实验表明，网络方法可以加速收敛且具有鲁棒性和灵活性。

    Jun, 2023

  • 合作竞争代理的独立强化学习：一种均值场视角

    本研究论文提出了一种利用强化学习来实现团队合作与跨团队竞争的线性二次结构的方法，并通过均值场设定下的广义和型场博弈，证明了该方法能够有效地达到纳什均衡。通过将问题分解为子问题，并利用时间独立对角优势下的后向递归离散时间哈密顿-雅可比-艾萨克斯方程，进一步证明了多人迅速消退自然策略梯度算法能够收敛到全局纳什均衡。实验结果验证了该方法在实践中的优点。

    Mar, 2024

  • 一个在线代理能够高效学习均场博弈

    使用在线样本，无需先验知识的状态-动作空间、奖励函数或转移动态，通过值函数(Q)更新策略，同时评估均场状态(M)，以有效逼近固定点迭代(FPI)的两种变种的新型在线单智能体无模型学习方案的功效通过数值实验得到确认。

    May, 2024