多智能体演员 - 评论家算法与分层图注意力网络

AAAISep, 2019

多智能体演员 - 评论家算法与分层图注意力网络

Multi-Agent Actor-Critic with Hierarchical Graph Attention Network

Heechang Ryu, Hayong Shin, Jinkyoo Park

TL;DR本文提出了一种基于分层图注意力网络和多智能体 actor-critic 的模型，可以进行多智能体表示学习和多智能体策略学习，通过两种特殊设计的图注意力网络促进多智能体之间的协作和竞争，实现在新任务中的策略迁移并优于其他现有方法。

Abstract

Most previous studies on multi-agent reinforcement learning focus on deriving decentralized and cooperative policies to maximize a common reward and rarely consider the transferability of trained policies to new tasks. This prevents such policies from being applied to more complex mult

multi-agent reinforcement learning representation learning hierarchical graph attention network policy learning transfer learning

发现论文，激发创造

多智能体强化学习的演员 - 注意力 - 评论家模型

提出了一个基于 Actor-Critic 算法的多智能体强化学习算法，解决了多智能体场景下的信息筛选问题，可应用于大多数多智能体学习问题。

Oct, 2018

基于图注意力神经网络的多智能体博弈抽象

该研究针对大规模多智能体系统，建立一种基于完全图的游戏抽象机制，以简化学习过程，并通过交通路口和猎物 - 捕食者两种实验验证其在状态空间和收敛性能上的优势。

Nov, 2019

异构图注意力网络学习多样化通信

该研究提出了一种名为 HetNet 的异构网络注意力思想，用于协调不同类型的机器人团队完成合作任务，并评估 HetNet 在解决信息交互问题中的性能提升，实验结果表明其相比基准方法，在学习复杂多智能体协作的通信协议方面，表现更好。

Aug, 2021

基于超图神经网络的多智能体系统高效策略生成

本文介绍了一种基于邻域的多智能体强化学习算法，并提出了两种基于超图结构的变体方法，其中利用超图卷积网络实现了信息提取和表示学习，具有实现有效合作的显著优势。

Mar, 2022

学习多级层次结构及回溯

本文介绍了一种新的 Hierarchical Reinforcement Learning (HRL) 框架 - Hierarchical Actor-Critic (HAC)，该框架能够克服在试图同时学习多个策略层级时出现的不稳定性问题，并能够在连续状态和动作空间的任务中成功地学习 3 级层级。

Dec, 2017

异构图注意力网络

该论文提出了一种基于分层注意力机制的异构图神经网络，包括节点层次和语义层次的注意力机制，通过从元路径邻居中汇总特征来生成节点嵌入，其在三个真实的异构图上表现出优越性能且有助于图分析。

Mar, 2019

基于层叠分层注意力的深度强化学习在基于文本的游戏中的应用

本文研究了强化学习在基于文本的游戏中的应用，提出了利用知识图谱进行明确推理的方法，并通过分层注意机制构建了推理过程的显式表示，实验结果表明该方法优于现有的基于文本的代理人。

Oct, 2020

基于图注意力机制的多无人机辅助通信中轨迹规划和资源分配的强化学习

该论文提出了一种新的图注意多智能体信任域（GA-MATR）强化学习框架，用于解决多无人机辅助通信问题，通过引入图递归网络处理和分析通信网络的复杂拓扑结构，从观测信息中提取有用的信息和模式，提供额外的权重，并利用批评网络准确评估无人机基站行为的价值，以实现更可靠的反馈信号，并帮助演员网络更有效地更新策略。模拟实验表明，该方法具有优于基准线的收敛性能，无人机基站学习到了达到最大累积奖励的最佳通信策略，同时，多智能体信任域方法具有单调收敛性，为多无人机辅助通信马尔可夫博弈提供了估计的纳什均衡点。

Jan, 2024

图注意力回顾

本文针对图神经网络进行多个实验，并研究其在节点分类问题中的理论表现。研究结果指出，图注意力机制可以区分类内和类间边缘，重要边的权重得以保留，进而实现完美的节点分类。

Feb, 2022

用深度强化学习实现多机器人社交导航的注意力图

通过结合感知、规划和预测，本研究提出了一种基于深度强化学习的多智能体社会感知导航策略方法，使用基于图的实体交互表示，并利用图神经网络和注意机制进行建模。实验证明，该方法在多个异构人群的复杂环境中能比社交导航深度强化学习单智能体技术更快地学习，并实现了高效的多智能体隐式协调。

Jan, 2024