具有新兴通讯的网络多智能体强化学习

Apr, 2020

具有新兴通讯的网络多智能体强化学习

Networked Multi-Agent Reinforcement Learning with Emergent Communication

Shubham Gupta, Rishi Hazra, Ambedkar Dukkipati

TL;DR本研究使用紧密联系的智能体通过互相交流离散符号彼此合作完成任务。通过分析他们之间的交流，证明了他们发展的语言与网络拓扑有关，并在交通控制器问题上实现了最先进的性能。

Abstract

multi-agent reinforcement learning (MARL) methods find optimal policies for agents that operate in the presence of other learning agents. Central to achieving this is how the agents coordinate. One way to coordinate is by learning to communicate with each other. Can the agents develop

multi-agent reinforcement learning cooperative agents emergent communication traffic controllers network topology

发现论文，激发创造

未來無線網路中的多智能體強化學習中的新興通訊

该论文阐述了 EC-MARL 在未来 6G 无线网络中的重要性，该方法赋予网络实体自主决策能力，解决自动驾驶、机器人导航、飞行基站网络规划和智能城市应用等复杂任务，提供 EC-MARL 算法的概述、设计准则以及研究机会。

Sep, 2023

多智能体强化学习中的完全独立通信

研究对多智能体强化学习的通信方法进行了调查，发现独立学习者在不共享参数的情况下仍然可以学习通信策略，并观察到通信在不同网络容量下的影响。

Jan, 2024

多智能体强化学习与通信调查

本文介绍了多个方面可以在设计和开发多智能体强化学习系统中扮演角色的通信，并提出了 Comm-MARL 系统分析、开发和比较的几个维度。

Mar, 2022

通过智能通信渠道协调多个代理商之间的政策

本文提出了一种新的多智能体强化学习通信方式，通过智能协调员筛选和解释所有代理提供的信号来提高个体的集体表现，该架构优于现有基线方法在多个合作环境中的表现。

May, 2022

关于新兴沟通在多智能体强化学习中的社会学习作用

本文提出了一种基于信息瓶颈的无监督方法，用于探索非常稀疏的多智能体增强学习中的社交通信情境，该方法可以捕捉引用复杂性和任务特定效用，并开发出一种自然语言灵感的信息组成的词汇表，该词汇表独立于一组紧急概念，使其具有极小的位数，同时可以使用社交影子的观测构成，并通过社交影子来学习通信策略。

Feb, 2023

网络系统控制的多智能体强化学习

本文研究了网络系统控制中的多智能体强化学习问题，提出了基于空间折扣因子的 NMARL 问题并引入了一种可微的通信协议 NeurComm 以提高学习效率和控制性能。实验结果表明，合适的空间折扣因子可以有效提高 MARL 算法的非通讯性学习曲线，而 NeurComm 在学习效率和控制性能方面均优于现有的通信协议。

Apr, 2020

通过任务不可知通信来推广多智能体协作

现有合作多机器人问题中的多智能体强化学习通信方法几乎全部是特定任务的，我们通过引入一种适用于给定环境中的任何任务的通信策略，解决了这种低效的问题。我们以一种自我监督的方式，使用一组自动编码器在没有特定任务奖励指导的情况下预训练通信策略，目标是从可变数量的智能体观察中学习一个固定大小的潜在马尔可夫状态。在温和的假设下，我们证明了使用我们的潜在表示的策略必定收敛，并上界了我们的马尔可夫状态近似引入的值误差。我们的方法使得无需微调通信策略即可无缝适应新任务，在训练期间支持更多智能体的扩展，并且能够检测环境中的异常事件。对不同的多智能体强化学习场景的实证结果验证了我们方法的有效性，在未知任务中优于特定任务的通信策略。

Mar, 2024

结构化状态抽象协作多智能体导航学习

本研究提出了一个神经网络架构，旨在共同学习多个代理参与导航任务中的自适应状态空间抽象和通信协议，从而有效减少探索的状态空间的大小，并达到更好的政策性能。

Jun, 2023

网络代理的去中心化多智能体强化学习：最新进展

本文回顾了多智能体强化学习的一个分支领域 —— 网络化智能体下的去中心化多智能体强化学习。该领域的研究主要集中在多个代理在公共环境中执行顺序决策，而无需任何中央控制器的协调。代理可以通过通信网络与其邻居交换信息。此设置在机器人，无人驾驶车辆，移动传感器网络和智能电网的控制和操作中具有广泛应用。

Dec, 2019

通过协商实现的新兴沟通

通过研究 negotiation environment 中不同类型 agent 之间的交互过程，以及不同类型 agent 是否会进行 cheap talk，作者探讨了 cooperation 在语言产生中的必要性问题。

Apr, 2018