Aug, 2023

合作智能体的政策多样性

PDF
TL;DR标准的多智能体强化学习方法旨在找到完成任务的最优团队合作策略。然而，在不同的合作方式中可能存在多种选择，这往往极大地增加了领域专家的任务复杂性。因此，我们提出了一种名为 Moment-Matching Policy Diversity 的方法，该方法通过形式化不同策略所选智能体的行为差异来生成不同的团队策略。理论上，我们证明了该方法是通过使用最大均值差异来实现约束优化问题的简单方式。我们的方法的有效性在一个具有挑战性的基于团队的射击游戏中得到了验证。
cooperative multi-agent reinforcement learningpolicy diversitytask complexitymoment-matching policy diversityteam-based shooter
发现论文，激发创造
  • 通过测量合作多智能体 RL 中角色多样性进行策略诊断

    通过量化角色多样性作为度量多智能体任务特征的因素，我们发现，MARL 中的误差限可以分解为 3 个部分，并且这些分解因素对 3 个热门方向的政策优化具有显著影响，通过 MPE 和 SMAC 平台的实验验证，角色多样性可以作为多智能体协作任务特征的强劲度量，并帮助诊断政策是否适合当前的多智能体系统以实现更好的性能。

    Jun, 2022

  • 共享多智能体强化学习中的多样性庆祝

    本研究介绍了多智能体强化学习中多样性的重要性，并提出了信息理论正则化和共享神经网络架构中的代理特定模块的方法，以促进代理之间的协作和多样性，实验结果表明该方法在 Google Research Football 和超难的星际争霸 II 微观管理任务上取得了最先进的表现。

    Jun, 2021

  • 多智能体强化学习中的策略蒸馏与价值匹配

    本文提出了一种多智能体 Actor-Critic 算法，通过分解多智能体问题以及知识蒸馏和价值匹配等方法，使智能体之间能够共享信息并解决维度灾难问题，进而在离散和连续动作空间中实现更好的性能。

    Mar, 2019

  • 多智能体强化学习中的行为多样性控制

    多智能体强化学习中行为多样性的研究是一个新兴且有潜力的领域。本研究提出了一种名为 DiCo 的多样性控制方法，通过在策略架构中应用约束，能够在不改变学习目标的情况下精确控制多样性，从而增加多智能体强化学习算法的性能和样本利用率。

    May, 2024

  • 多智能体强化学习的策略距离测量

    多样性在提高多智能体强化学习 (MARL) 性能方面起着关键作用，本文提出了一种通用的量化智能体政策差异的工具，多智能体政策距离 (MAPD)，并通过在线部署设计了一个多智能体动态参数共享 (MADPS) 算法来应用该工具。实验证明，我们的方法在衡量智能体政策差异和特定行为倾向方面是有效的，并且相比其他参数共享方法，MADPS 表现出更优越的性能。

    Jan, 2024

  • 合作任务中的多智能体深度强化学习算法评估

    本研究提供一个系统化的评估来比较三种不同类别的多智能体深度强化学习算法（独立学习、集中式多智能体策略梯度、价值分解）在多样化的合作多智能体学习任务中的表现，为算法在不同学习任务中的预期性能提供参考，并提供了有关不同学习方法有效性的见解。我们开源了 EPyMARL，延伸了 PyMARL 代码库以包括其他算法，并允许对算法实现细节进行灵活配置，例如参数共享。最后，我们还开源了两个多智能体研究的环境，重点是在稀疏奖励下的协调。

    Jun, 2020

  • 多智能体强化学习的统一博弈论方法

    本文提出了一种基于深度强化学习的近似最佳响应策略混合和实证博弈理论分析的算法，用以解决多智能体强化学习中独立强化学习过度拟合其他智能体政策的问题，并且在网格世界协调游戏和扑克牌等部分可观察环境中取得了不错的结果.

    Nov, 2017

  • 多样性导向的策略梯度：利用最大平均差异找到一组不同的策略

    本文使用基于梯度的优化技术，旨在找到不同行为的多样化的性能良好的策略集，在强化学习方法中，鉴别近似最优策略集的重要性被正式化和研究，并在基准测试和医疗保健任务中展示了应用效果。

    May, 2019

  • 合作多智能体强化学习中常见实践的重新审视

    围绕合作多智能体强化学习，实现了依照价值分解及参数共用两大设计原则，其中心的 Q 函数通过局部化的 Q 网络在代理间共享参数。然而，我们证明在某些环境中，比如高度多模式的奖励环境下，价值分解以及参数共享会引起问题并导致不良结果。相反，个体策略的策略梯度方法在这些情况下可以收敛到最优解，并部分支持最近在许多 MARL 测试床上表现良好的 PG 方法。得出实验结果后，我们提出实用建议，并在简化的矩阵和网格世界游戏以及 StarCraft 多代理挑战和谷歌研究足球等各种领域进行了实证验证。希望我们的研究能够为开发更普遍和更强大的 MARL 算法的社区带来益处。

    Jun, 2022

  • 稳定均场博弈的策略更新规则正则化

    本文介绍一种名为 MF-PPO 的算法，它采用邻域策略梯度更新来调整变差的均值场博弈策略，从而提高非合作多智能体强化学习系统的稳定性和效率。

    Apr, 2023