Feb, 2023

基于贪心边际贡献计算的适应值分解用于协同多智体强化学习

PDF
TL;DR本研究提出了一种新的显式学分分配方法，名为具有贪心边际贡献的自适应价值分解（AVGM），它基于一种自适应价值分解，可以学习动态变化的多个智能体组的协作价值，并使用由价值分解计算出的贪心边际贡献作为个体信用来激励智能体学习最优协作策略。实验结果表明，我们的方法在多个非单调领域取得了显着的性能提高。
cooperative multi-agent reinforcement learningvalue decompositionnon-monotonic returnsexplicit credit assignmentgreedy marginal contribution
发现论文，激发创造
  • 深度合作多智能体强化学习中的价值分解算法理解

    本文研究了多智能体强化学习中的值函数分解方法在协作游戏中的适用情况、算法的收敛性质、深度神经网络的表示法及其应用，进一步提出了分解型协作游戏的概念，并理论证明了分解型协作游戏中多智能体适应 Q - 迭代算法（MA-FQI）可以导致最优 Q 函数。

    Feb, 2022

  • 合作多智能体强化学习中常见实践的重新审视

    围绕合作多智能体强化学习，实现了依照价值分解及参数共用两大设计原则，其中心的 Q 函数通过局部化的 Q 网络在代理间共享参数。然而，我们证明在某些环境中，比如高度多模式的奖励环境下，价值分解以及参数共享会引起问题并导致不良结果。相反，个体策略的策略梯度方法在这些情况下可以收敛到最优解，并部分支持最近在许多 MARL 测试床上表现良好的 PG 方法。得出实验结果后，我们提出实用建议，并在简化的矩阵和网格世界游戏以及 StarCraft 多代理挑战和谷歌研究足球等各种领域进行了实证验证。希望我们的研究能够为开发更普遍和更强大的 MARL 算法的社区带来益处。

    Jun, 2022

  • 面向合作多智能体强化学习的双自我感知价值分解框架（无个体全局最大值）

    在合作多智能体强化学习领域，我们提出了一种基于双重自我意识概念的价值分解框架，它完全拒绝了个体全局最大原则。通过使用明确的搜索过程，价值函数分解可以忽略 IGM 假设。我们还提出了一种新颖的抗自我探索机制，以避免算法陷入局部最优解。作为第一个完全不遵循 IGM 规则的价值分解方法，我们提出的框架在各种协作任务中实现了理想的性能。

    Feb, 2023

  • 多智能体强化学习中的图卷积值分解

    该论文提出了一种新颖的基于图神经网络的多智能体深度强化学习价值函数分解框架，包括目标团队代理作为一组完整有向图的节点、采用注意机制进行边权重控制、推出混合 GNN 模块用于把团队状态 - 动作价值函数分解为单独智能体的观测 - 动作价值函数、显式接受损失分配。该方法称为 GraphMIX，能够优于当前最先进方法，可用于 StarCraft II 多智能体挑战基准测试中，同时能够改善智能体性能并使其适应更高数量和 / 或操作的不匹配测试情景。

    Oct, 2020

  • 协作多智体学习的价值分解网络

    利用价值分解网络架构解决合作多智能体强化学习中的观测部分性、虚假奖励和 “懒惰智能体” 问题，并在与共享权重、角色信息和信息通道相结合的情况下，在部分可观测的多智能体领域取得优越结果。

    Jun, 2017

  • 用于深度多智能体强化学习的 Q 值路径分解

    本论文提出一种名为 Q-value Path Decomposition（QPD）的方法，该方法利用集成渐变归因技术对深度多智能体强化学习中的全局 Q 值进行分解，以便为代理分配信用，解决了多智能体信用分配的关键挑战，该方法在 StarCraft II 微观管理任务中优于现有协作 MARL 算法。

    Feb, 2020

  • 非线性协调图

    本研究提出了第一个非线性协调图，探讨如何在新的函数类中进行贪心行动选择，使用 LeakyReLU 激活的混合网络解决此问题，提出具有全局最优性保证的枚举方法和具有局部最优性保证的有效迭代优化方法的动机。在多个代理协调任务中取得了卓越性能。

    Oct, 2022

  • 强化学习智能体迭代设计的价值函数分解

    本文介绍如何将价值分解结合到广泛类的演员 - 评论家算法中，以协助迭代代理设计过程，包括引入基于价值分解的工具和一种新的奖励影响度量方法。

    Jun, 2022

  • 针对协作式多智能体强化学习的可扩展价值分解探索算法

    本文提出了一种可扩展的价值分解探索方法（SVDE），包括可扩展的训练机制、内在奖励设计和探索性经验回放，以加速样本生成并改善探索问题。实验结果显示，在 StarCraft II 微观管理游戏中，该方法在几乎所有地图上实现了最佳性能。

    Mar, 2023

  • 多智能体价值分解的对比身份感知学习

    通过对代理商的属性进行对比性学习，从而突破多代理多样性限制，增强价值分解网络的可区分性，提高合作能力

    Nov, 2022