多智能体强化学习中的廉价交流发现与利用

ICLRMar, 2023

多智能体强化学习中的廉价交流发现与利用

Cheap Talk Discovery and Utilization in Multi-Agent Reinforcement Learning

Yat Long Lo, Christian Schroeder de Witt, Samuel Sokota, Jakob Nicolaus Foerster, Shimon Whiteson

TL;DR本文针对合作多智能体增强学习方法中，通过便宜谈话渠道实现智能体之间的通信的问题，提出了一种基于互信息最大化的算法，分别对便宜话探测和利用进行了研究，并在这两个部分都优于现有算法的前提下，开发出一种新的框架，还发布了一套新的基准测试套件以刺激未来在便宜谈话渠道方面的研究。

Abstract

By enabling agents to communicate, recent cooperative multi-agent reinforcement learning (MARL) methods have demonstrated better task performance and more coordinated behavior. Most existing approaches facilitate inter-agent communication by allowing agents to send messages to each other through free communication channels, i.e., cheap talk channels. Current

cooperative multi-agent reinforcement learning cheap talk discovery cheap talk utilization mutual information maximization benchmark suite

发现论文，激发创造

通过智能通信渠道协调多个代理商之间的政策

本文提出了一种新的多智能体强化学习通信方式，通过智能协调员筛选和解释所有代理提供的信号来提高个体的集体表现，该架构优于现有基线方法在多个合作环境中的表现。

May, 2022

多智能体强化学习与通信调查

本文介绍了多个方面可以在设计和开发多智能体强化学习系统中扮演角色的通信，并提出了 Comm-MARL 系统分析、开发和比较的几个维度。

Mar, 2022

多智能体强化学习中的完全独立通信

研究对多智能体强化学习的通信方法进行了调查，发现独立学习者在不共享参数的情况下仍然可以学习通信策略，并观察到通信在不同网络容量下的影响。

Jan, 2024

具有新兴通讯的网络多智能体强化学习

本研究使用紧密联系的智能体通过互相交流离散符号彼此合作完成任务。通过分析他们之间的交流，证明了他们发展的语言与网络拓扑有关，并在交通控制器问题上实现了最先进的性能。

Apr, 2020

通过任务不可知通信来推广多智能体协作

现有合作多机器人问题中的多智能体强化学习通信方法几乎全部是特定任务的，我们通过引入一种适用于给定环境中的任何任务的通信策略，解决了这种低效的问题。我们以一种自我监督的方式，使用一组自动编码器在没有特定任务奖励指导的情况下预训练通信策略，目标是从可变数量的智能体观察中学习一个固定大小的潜在马尔可夫状态。在温和的假设下，我们证明了使用我们的潜在表示的策略必定收敛，并上界了我们的马尔可夫状态近似引入的值误差。我们的方法使得无需微调通信策略即可无缝适应新任务，在训练期间支持更多智能体的扩展，并且能够检测环境中的异常事件。对不同的多智能体强化学习场景的实证结果验证了我们方法的有效性，在未知任务中优于特定任务的通信策略。

Mar, 2024

多智能体强化学习的上下文感知通信

开发名为 CACOM 的上下文感知通信协议，通过多个阶段的粗略表示交换和注意机制，为多智能体强化学习提供了个性化的通信方案，采用学习的步长量化技术以减少通信开销，并在合作基准任务上实验结果证明 CACOM 在通信受限场景下提供了明显的性能提升。

Dec, 2023

基于表征通信的大规模交通信号控制的多智能体强化学习

基于通信的多智能体强化学习（MARL）框架用于大规模交通信号控制，每个智能体学习通信策略以选择消息的发送对象和交换可变长度的消息，实现去中心化和灵活的通信机制，并在网络拥塞和性能方面表现优于相关方法。

Oct, 2023

从显式通信到默示合作：一种新的协作多智能体强化学习范式

该研究提出了一种新的训练方法，该方法在训练初期通过共享信息和重构信息来促进智能体之间的合作，随着训练的进行，逐渐过渡到完全去中心化的执行模式，实验结果表明该方法的性能不逊于基于传统通信的方法。

Apr, 2023

在不完美的信道上学会合作与沟通

多智能体系统中的信息交流在部分可观察环境中提高智能体之间的合作，本文考虑了基于有限和不可靠信道下智能体的合作通信，通过提出一种基于独立 Q 学习的新型通信方法，智能体可以动态适应信息共享的量，从而根据本地观察和信道特性发送不同大小的消息，同时智能体学习编码和解码消息以提升共同训练的策略，在合作式数字预测环境中，我们展示了相比于没有自适应能力的方法，我们的方法表现更好，并讨论了其在交通路口环境中的局限性。

Nov, 2023

基于图形的多智能体强化学习的协同信息传播学习

利用多智能体强化学习的分散式 POMDP 方法，通过图卷积强化学习和动态注意力技术实现信息传播，提供了可靠的协作信息传播解决方案。

Aug, 2023