ICLRFeb, 2023

面向人群大小的平均场博弈策略优化

PDF
TL;DR本文提出了一种名为 PAPO 的方法，通过结合增强和超网络的方式，在同时考虑人口数量和生成策略的前提下，进行不同人口数量游戏的策略优化，并在多个环境中进行了实验和分析，验证了该方法在群体博弈中取得了非常显著的优越性。
mean-field gamespopulation sizepolicy optimizationhypernetworkmulti-task learning
发现论文，激发创造
  • NeuPL: 神经群体学习

    本篇论文提出了一种叫 Neural Population Learning（NeuPL）的算法，该算法实现了在游戏中学习多种不同策略，可以有效解决实际游戏中的两个问题，即预算有限时训练不充分和重复学习基础技能的问题，并通过多种测试验证了该算法的鲁棒性和高效性。

    Feb, 2022

  • 基于人群的组合优化强化学习

    通过引入基于 Population 的强化学习思想，由于其在最大化性能时尚未预定义特定的多样性，证明了该方法产生一组互补的策略，并在三个著名的 NP-hard 问题上获得最新的强化学习结果：旅行推销员问题 (TSP)，分配式车辆路径规划问题 (CVRP) 和 01 背包问题 (KP)。在特定的 TSP 问题上，其超过先前的最先进技术，将最优性差距分为 5 个，同时缩短了推理时间超过一个数量级。

    Oct, 2022

  • 稳定均场博弈的策略更新规则正则化

    本文介绍一种名为 MF-PPO 的算法，它采用邻域策略梯度更新来调整变差的均值场博弈策略，从而提高非合作多智能体强化学习系统的稳定性和效率。

    Apr, 2023

  • 面向分散网络系统的可扩展基于模型的策略优化

    本文旨在提高多智能体控制的数据效率，采用基于模型的学习方式，通过多个代理通过本地通信进行合作完成任务，实现分散的基于模型的策略优化框架，提出了扩展的价值函数，理论上证明了产生的策略梯度是真实策略梯度的一个紧密近似，并在智能交通系统的多项基准测试上展示了出色的数据效率和与真实模型的无模型方法匹配的性能。

    Jul, 2022

  • 通过学习主策略进行均场博弈中的泛化

    利用机器学习中的泛化功能，我们研究如何学习政策，使典型代理能够针对任何人口分布表现最佳。我们提出了一种方法来学习这样的 Master 策略，并且证明了单个 Master 策略提供了纳什均衡。我们的方法基于三个方面：将当前人口分布添加为观察的一部分，使用神经网络逼近 Master 策略，使用强化学习和虚拟博弈进行训练。我们通过数值示例展示了所学习的 Master 策略的高效性以及其超越训练中使用的分布的推广能力。

    Sep, 2021

  • 为程序综合和语义解析优化的记忆增强策略

    Memory Augmented Policy Optimization (MAPO) improves policy gradient's sample efficiency and robustness on tasks with sparse rewards. When applied to weakly supervised program synthesis from natural language, it achieves state-of-the-art accuracy with only weak supervision.

    Jul, 2018

  • 协作式近端策略优化

    本文提出了一种名为 CoPPO 的算法，用于多智能体环境下的多项策略优化，并证明了该算法在优化理论基础上的联合目标后能够实现动态的学分分配，解决了多智能体系统中同时更新智能体策略时高方差的问题，并通过实验证明其在合作矩阵博弈和 StarCraft II 微观管理任务等典型多智能体环境下优于一些强基线，并与最新的多智能体 PPO 方法（即 MAPPO）相竞争。

    Nov, 2021

  • 基于深度强化学习的面向人口的在线镜像下降法求解均场博弈

    我们提出了一种深度强化学习算法，通过设计额外的内循环重放缓冲区，代理可以有效地学习如何从任何分布实现纳什均衡，从而在大规模多智能体系统中实现依赖于人口的纳什均衡。数值实验结果表明，我们的算法具有比现有技术的算法更好的收敛性质，特别是对于依赖于人口的策略的虚拟游戏的深度强化学习版本。

    Mar, 2024

  • 群体参数平均化（PAPA）

    PAPA 是一种结合了集成方法的一般性和权重平均值的效率的方法，其中一个由多个神经网络生成的种群根据其加权平均值进行更新，以提高性能。

    Apr, 2023

  • 一个在线代理能够高效学习均场博弈

    使用在线样本，无需先验知识的状态 - 动作空间、奖励函数或转移动态，通过值函数 (Q) 更新策略，同时评估均场状态 (M)，以有效逼近固定点迭代 (FPI) 的两种变种的新型在线单智能体无模型学习方案的功效通过数值实验得到确认。

    May, 2024