Mar, 2024

多智能体强化学习中推断潜在时间稀疏协调图

PDF
TL;DR在合作多智能体强化学习中，有效的智能体协调至关重要。为了解决现有方法中对历史经验的忽视和稠密图计算的可扩展性问题，我们提出了一种基于潜在时间稀疏协调图的多智能体强化学习方法。该方法利用智能体的历史观测计算智能体对概率矩阵，并基于此矩阵生成稀疏图，以促进智能体之间的知识交流，同时捕捉智能体之间的依赖关系和关系不确定性。该方法还引入了 “预测未来” 和 “推断现在” 两个创新特性，使得该方法能够从有限数据中构建历史和实时信息的时间图，促进策略学习和有效协作。实验结果表明，该方法在 StarCraft II 基准测试中具有卓越的性能。
cooperative multi-agent reinforcement learningagent coordinationgraph learning methodslatent temporal sparse coordination graphknowledge exchange
发现论文，激发创造
  • 基于合作图的多智能体稀疏奖励强化学习方法

    本文提出了一种基于 Cooperation Graph 结构的 Multiagent Reinforcement Learning（CG-MARL）算法，通过设计一个网络结构来有效处理多智能体领域中的稀疏奖励问题，并在实验中展示出全面领先的性能表现。

    Aug, 2022

  • 多智能体强化学习的群体感知协调图

    我们提出了一种新的方法来推断组感知协作图（GACG），以捕捉基于当前观测到的代理之间的合作以及跨轨迹观察到的行为模式的组水平依赖关系，并在决策过程中使用该图进行信息交换。通过在 StarCraft II 微管理任务上进行评估，我们证明了 GACG 的卓越性能。进一步的消融研究为我们的方法的每个组成部分的有效性提供了实验证据。

    Apr, 2024

  • 在有向无环图约束下学习多个协同代理

    本文提出了一种新的多智能体强化学习方法，旨在学习在有向无环图 (DAG) 约束条件下的多个协调智能体。我们的方法利用智能体之间的 DAG 结构，有效提高学习性能，并通过提出一种基于合成奖励的 MARL 模型的新型替代值函数来证明其作为最优值函数的下限。计算上，我们提出了一种实用的训练算法，利用新的领导智能体和奖励生成器 / 分配智能体引导分解的从属智能体更好地探索具有 DAG 约束的环境的参数空间。实证上，我们利用了四个 DAG 环境，包括英特尔高容量封装和测试工厂的真实排程，对我们的方法进行基准测试，证明其优于其他非 DAG 方法。

    Jul, 2023

  • 多智能体强化学习的深层隐式协调图

    本文引入了一种深度隐式协调图 (DICG) 结构，用于多智能体强化学习中的协调问题，通过一个协调图神经网络实现隐式推理，实现了完全中央化和分散化之间的平衡，并在多个基准测试任务中表现出色。

    Jun, 2020

  • 可扩展协作图的自我聚类层次多智能体强化学习

    提出了一种名为 Hierarchical Cooperation Graph Learning (HCGL) 的新型分层 MARL 模型，可以解决复杂的多智能体问题，通过动态可扩展合作图 (ECG) 实现自我聚类合作，调整 ECG 拓扑结构的图操作符，以及训练这些图操作符的 MARL 优化器。实验结果表明，HCGL 模型在稀疏奖励的多智能体基准测试中表现出色，并可以轻松应用于具有高零 - shot 传输成功率的大规模场景。

    Mar, 2024

  • 基于图诱导的局部价值函数的分布式多智能体强化学习

    本文提出了一种可行的分布式学习框架来处理多智能体协作强化学习中的信任问题，这种方法使用图的结构描述不同类型的多智能体之间的关系，并提出了两种基于本地价值函数的分布式 Reinforcement Learning (RL) 方法，能够在保证有效性的前提下，大幅减少采样复杂性。

    Feb, 2022

  • 图卷积强化学习

    本文提出了一种使用图卷积强化学习的方法，通过使用关系内核捕获代理之间的相互作用来适应多代理环境的动态，并利用逐渐增大感受野的卷积层产生潜在特征来学习合作，此外，为了保持一致性，还使用了时间关系正则化方法。实验表明，该方法在各种合作场景中显着优于现有方法。

    Oct, 2018

  • 有效多智能体 Q-Learning 的图探索

    本文提出了一种基于图通信的多智能体强化学习探索技术，通过邻近智能体的协作来估计状态 - 动作空间的不确定性，从而在不需要计数机制且可以应用于连续状态环境的前提下执行更有效的探索行为，可以实现最小的信息交换和完全分散的通信方式，并用理论和实验结果分别验证了其在离散状态和连续状态下的性能。

    Apr, 2023

  • TransfQMix: 利用多智能体强化学习问题的图形结构的 Transformer

    本文提出了 TransfQMix，一种用于多智能体强化学习（MARL）中更好地学习协作策略的新方法，将协作问题表示为潜在图结构的顶点特征，使用 transformer 代理进行图推理。文章介绍了该方法的设计，性能以及在 Spread 和 StarCraft II 环境中的比较结果

    Jan, 2023

  • 带有定向协调图的分布式合作多智能体强化学习

    本文提出了一种分布式强化学习算法，该算法使用直接协调图和局部值函数，通过零阶优化方法进行条件估计，没有使用任何共识算法。与现有的基于零阶优化的强化学习算法相比，我们的算法保证了高可扩展性。

    Jan, 2022