ACCNet: 深度多智能体强化学习中用于 “学习通讯” 的演员 - 协调器 - 评论家网络

MMJun, 2017

ACCNet: 深度多智能体强化学习中用于 “学习通讯” 的演员 - 协调器 - 评论家网络

ACCNet: Actor-Coordinator-Critic Net for "Learning-to-Communicate" with Deep Multi-agent Reinforcement Learning

Hangyu Mao, Zhibo Gong, Yan Ni, Zhen Xiao

TL;DR本文通过提出 Actor-Coordinator-Critic Net (ACCNet) 框架，结合强化学习和深度学习技术，在多智能体环境下实现更好的学习通信协议能力，并对学习到的协议进行分析和设计探讨。

Abstract

Communication is a critical factor for the big multi-agent world to stay organized and productive. Typically, most previous multi-agent "learning

multi-agent actor-coordinator-critic net learning-to-communicate reinforcement learning deep learning

发现论文，激发创造

分布式强化学习中通信高效的多智能体 Actor-Critic 算法

本文提出了一种基于随机化和多智能体系统 actor-critic 算法的分布式强化学习算法，旨在通过仅与本地邻居通信，协同优化全局平均回报。通过仅发送两个标量值变量，该算法可以解决强连通图的问题。

Jul, 2019

多智能体强化学习中通信调度的学习

本研究提出了一种名为 SchedNet 的多智能体强化学习框架，其中智能体能够自主学习如何安排通讯、编码消息以及根据接收到的信息选择动作，并在合作通讯与导航以及捕猎等不同应用场景下展示了比其他机制更显著的表现差距，达到 32% 至 43% 的性能优势。

Feb, 2019

深度多智能体强化学习中的通信学习

本研究基于深度神经网络，提出两种学习策略（RIAL 和 DIAL），探究在多智能体感知与互动的环境下，通过学习通信协议最大化共享效益的问题。研究表明通过这种中心化学习、分散式执行的方法能够在通信难题和多智能体计算机视觉问题领域中实现端到端的协议学习。

May, 2016

合作多智能体强化学习中实用通信策略的学习

本文提出了一个框架，利用神经消息编码器来学习多智能体强化学习中的通信策略，包括消息传输时机、消息内容以及如何保留消息信息。模拟实际的无线网络环境下，与现有技术相比，该框架在游戏性能、收敛速度和通信效率方面都有显著提高。

Sep, 2022

通过基于记忆的通信提高小规模多智体深度强化学习中的协调

本文提出了一个基于深度确定性策略梯度的多智能体训练框架，利用存储设备并发端到端学习明确的通信协议，来提高小规模系统中智能体的协作和性能，同时研究了不同通信模式对性能的影响。

Jan, 2019

Verco：多智能体强化学习中协调语言沟通的学习

我们提出了一种新的多智能体强化学习算法，将大型语言模型嵌入到智能体中，使其能够生成人类可理解的口头沟通，通过在智能体之间进行信息共享来显著提高学习效率和性能，并为人类提供解释多智能体合作过程的工具。

Apr, 2024

异构图注意力网络学习多样化通信

该研究提出了一种名为 HetNet 的异构网络注意力思想，用于协调不同类型的机器人团队完成合作任务，并评估 HetNet 在解决信息交互问题中的性能提升，实验结果表明其相比基准方法，在学习复杂多智能体协作的通信协议方面，表现更好。

Aug, 2021

多智能体合作与竞争任务中的大规模通信时机学习

本文提出了 Individualized Controlled Continuous Communication Model (IC3Net)，在多智能体协作、半协作与竞争环境下，通过门控机制控制持续传输，并使用个性化奖励来提高性能和可扩展性，修正学分分配问题。实验结果证实，IC3Net 网络比基准网络在不同场景下具有更好的训练效率和收敛率，智能体基于场景和可盈利性学会如何传输信息。

Dec, 2018

具有图卷积通信的反事实多智体强化学习

该研究提出了一种基于图卷积和多因素策略梯度的架构，用于解决在多观察环境下多智能体之间合作最大化系统功用时的通信和奖励分配问题，并在一系列任务中取得了优异表现。

Apr, 2020

FCMNet: 多智能体系统团队级协作的全通信内存网络

该研究基于强化学习，提出了 FCMNet 通信框架，通过方向性递归神经网络的隐藏状态作为通信信息，在具备全局通信但不可靠的情况下，实现了一个既能学习多跳通信协议，又能让代理团队制定决策的共同分散式智策略。FCMNet 具有较强的鲁棒性，在一系列 StarCraft II 微操作任务中超越了现有的基于通信强化学习方法，也在一些任务中优于价值分解方法，同时还能应对随机丢包或二元信息等通信干扰情况，有望应用于各种实际机器人任务。

Jan, 2022