Jan, 2014

具有非线性动力学的多智能体强化学习算法

PDF
TL;DR使用加权策略学习器（Weighted Policy Learner）算法，基于本地奖励的反馈，实现了多智能体强化学习（MARL）算法在二人二选手博弈中寻找 Nash Equilibrium 的能力。与之前的算法相比，WPL 不需要观察其他智能体动作和奖励，也不需要预先了解博弈本质和 NE 解，收敛表现优于现有的算法，并且在 100 个智能体交互中并行收敛。通过对 WPL 的动力学分析，可以更好地理解该算法的行为，分析 WPL 的收敛性比较困难，需要数值模拟求解动力学微分方程来验证其收敛性。
multiagent reinforcement learningnash equilibriumweighted policy learnerconvergencedynamics analysis
发现论文，激发创造
  • 多智能体强化学习的统一博弈论方法

    本文提出了一种基于深度强化学习的近似最佳响应策略混合和实证博弈理论分析的算法，用以解决多智能体强化学习中独立强化学习过度拟合其他智能体政策的问题，并且在网格世界协调游戏和扑克牌等部分可观察环境中取得了不错的结果.

    Nov, 2017

  • 零和马尔可夫博弈中政策优化的更快收敛

    本文提出了一种基于 OMWU 方法的单环路政策优化算法，并在二人零和马尔可夫博弈中，通过控制正则化的程度，实现了有限时间的最后一次线性收敛到达量子响应均衡点，并在全信息离散设置中实现了收敛结果。

    Oct, 2022

  • 改进分散式多智能体强化学习的无模型算法

    本文针对多智能体强化学习算法在代理数目增多时出现的采样复杂度指数级增长的现象，提出了一些去中心化的学习算法，并在几个关键的方面上做了优化，同时通过数值仿真验证我们理论的有效性。

    Oct, 2021

  • 多智能体强化学习：理论和算法的选择性概述

    本文在 selective 的视角下提供了多智能体强化学习领域的理论分析综述，重点关注 Markov/stochastic games 和 extensive-form games 框架下的 MARL 算法的理论结果，并突出了 MARL 理论的几个新角度和分类，探讨了在学习博弈论、分散式多智能体、平均场与（非）收敛、多类型任务等方面的有前途的未来研究方向。

    Nov, 2019

  • 基于模型的多智能体强化学习：最新进展和前景展望

    本文回顾了现有的关于基于模型的多智能体强化学习的研究，包括理论分析、算法和应用，并分析了基于模型的多智能体强化学习的优势和潜力。此外，我们提供了算法的详细分类，并根据多智能体情景中固有的挑战指出每个算法的优点和缺点。最后，我们总结了这一领域未来发展的有前途的方向。

    Mar, 2022

  • 网络系统控制的多智能体强化学习

    本文研究了网络系统控制中的多智能体强化学习问题，提出了基于空间折扣因子的 NMARL 问题并引入了一种可微的通信协议 NeurComm 以提高学习效率和控制性能。实验结果表明，合适的空间折扣因子可以有效提高 MARL 算法的非通讯性学习曲线，而 NeurComm 在学习效率和控制性能方面均优于现有的通信协议。

    Apr, 2020

  • 针对对手感知的去中心化网络多智能体强化学习算法

    研究了去中心化的多智能体强化学习算法，引入了对抗性智能体对共识更新的漏洞，并提出了一种算法，使得非对抗性智能体在受限制的情况下达成共识。

    May, 2023

  • 双平均原始对偶优化的多智能体强化学习

    该论文提出了一种双重平均方案，其中每个代理迭代地执行平均化，以融合相邻梯度信息和本地奖励信息，解决多智能体强化学习中的政策评估问题，并且实现了分散的凸凹螺旋点问题的快速收敛。

    Jun, 2018

  • 自适应约束下的自训练近最优强化学习

    多智能体强化学习中，通过引入自适应约束，我们设计一种基于消除的算法，在低批次复杂度下实现了对马尔可夫博弈的极小后悔，并且证明了匹配上界的批次复杂度下限，进一步地在理解低适应性的多智能体强化学习方面提供了首个一系列结果。

    Feb, 2024

  • 具势函数的非零和随机博弈中的学习

    本文介绍了一种新一代的多智能体强化学习方法 SPot-AC，可用于处理非零和付结构和连续设置的随机潜在游戏中，证明了该方法能够使独立代理人在多项式时间内学习纳什均衡策略，在 Coordination Navigation 和大规模自私路由游戏等难以解决的任务方面表现出色，并在这些场景中优于 MADDPG 和 COMIX 等前沿方法。

    Mar, 2021