Jun, 2024

马尔可夫游戏和多智能体强化学习中的风险敏感性：一项系统综述

PDF
TL;DRMarkov games 和 multi-agent reinforcement learning 研究了多智能体系统中的决策制定模型。本文系统回顾了最近几年在 risk-sensitive MG 和 MARL 领域中增长的相关文献，并定义和数学描述了在 MG 和 MARL 中使用的不同风险度量，并讨论了各个度量所涵盖的文章。最后，我们识别了该领域理论和应用研究的最新趋势，并讨论了未来研究的可能方向。
markov gamesmulti-agent reinforcement learningrisk sensitivityrisk measuresfuture research
发现论文，激发创造
  • 网络聚合马尔可夫博弈中的风险敏感多智能体强化学习

    使用累积概率理论（CPT）的分布式采样型 actor-critic（AC）算法为网络聚合式马尔科夫博弈（NAMG）引入风险敏感性，实现主观感知的马尔科夫最优纳什均衡。实验结果表明，通过我们的算法获得的主观的 CPT 策略可能与风险中性策略不同，具有更高的损失规避倾向的智能体在 NAMG 中更倾向于社会隔离。

    Feb, 2024

  • RiskQ：风险敏感的多智能体强化学习价值分解

    多主体系统中的风险敏感协调要求和风险测量的多主体强化学习方法。

    Nov, 2023

  • 高效的样本有效的多智能体强化学习：优化视角

    我们研究了多智能体强化学习 (MARL) 在一般和马尔可夫博弈 (MG) 下具有一般函数逼近的情况。通过引入一种新颖的复杂度度量，即多智能体解耦系数 (MADC)，我们旨在找到基于样本高效学习的最小假设。利用该度量，我们提出了首个统一的算法框架，可以在低 MADC 的情况下保证在模型为基础和模型无关的 MARL 问题中学习纳什均衡、粗粒度相关均衡和相关均衡的样本效率性。此外，我们还展示了与现有工作相比，我们的算法提供了可比较的次线性遗憾。此外，我们的算法结合了一个均衡求解器和一个单一目标优化次程序，用于求解每个确定性联合策略的正则化收益，从而避免在数据相关的约束条件下求解约束优化问题 (Jin et al. 2020; Wang et al. 2023)，或在复杂的多目标优化问题 (Foster et al. 2023) 中执行抽样过程，因此更适合于实证实现。

    Oct, 2023

  • 多智能体强化学习：综述

    该论文调查了多智能体系统中学习最优控制的复杂性，旨在深入理解多智能体应用的机遇和挑战，为研究人员和从业者提供有价值的观点，以促进该领域的发展。

    Dec, 2023

  • 在风险敏感的多智能体强化学习中驯化均衡偏差

    我们研究了在一般和马尔可夫游戏中，多智能体强化学习中的风险敏感问题，其中智能体通过强化学习最大化奖励的熵风险衡量，并且可能具有不同的风险偏好。我们表明，使用现有文献中直接从后悔中获得的波动作为性能指标可能会导致存在偏差的策略，偏好最敏感风险的智能体并忽视其他智能体。为了解决这种直接后悔的不足，我们提出了一种新的后悔定义，称之为风险平衡后悔，并通过下界证明其克服了平衡偏差的问题。此外，我们开发了一种自我博弈算法，用于在风险敏感的马尔可夫游戏中学习纳什均衡、相关均衡和粗糙相关均衡。我们证明了该算法相对于风险平衡后悔在近乎最优的性能保证。

    May, 2024

  • 基于博弈论视角的多智能体强化学习概述

    本研究提供了一个笔记，从博弈论的角度全面介绍了现代多代理强化学习技术的基础和最新发展，旨在为即将进入这个快速增长的领域的新研究人员和现有领域专家提供有关目前最先进的 MARL 技术的自包含评估，并根据最新进展确定新方向。

    Nov, 2020

  • 有限制马尔可夫潜在博弈中可证明学习纳什策略

    本文提出了一种名为 CA-CMPG 的算法，它可以通过 Coordinate-Ascent 方式收敛到表格型、有限时间段的 CMPGs 的 Nash 策略，并提供了第一个适用于 CMPGs 的样本复杂度边界和安全探索的额外假设。

    Jun, 2023

  • 基于模型的多智能体强化学习：最新进展和前景展望

    本文回顾了现有的关于基于模型的多智能体强化学习的研究，包括理论分析、算法和应用，并分析了基于模型的多智能体强化学习的优势和潜力。此外，我们提供了算法的详细分类，并根据多智能体情景中固有的挑战指出每个算法的优点和缺点。最后，我们总结了这一领域未来发展的有前途的方向。

    Mar, 2022

  • 风险感知的分布式多智能体强化学习

    研究了在未知环境下的决策问题，使用分布式多智能体强化学习和条件风险价值的方法进行决策，并通过模拟评估验证了该方法。

    Apr, 2023

  • 多智能体强化学习：理论和算法的选择性概述

    本文在 selective 的视角下提供了多智能体强化学习领域的理论分析综述，重点关注 Markov/stochastic games 和 extensive-form games 框架下的 MARL 算法的理论结果，并突出了 MARL 理论的几个新角度和分类，探讨了在学习博弈论、分散式多智能体、平均场与（非）收敛、多类型任务等方面的有前途的未来研究方向。

    Nov, 2019