可适应辅助多智能体对抗生成的通信抗干扰多智能体学习

May, 2023

可适应辅助多智能体对抗生成的通信抗干扰多智能体学习

Communication-Robust Multi-Agent Learning by Adaptable Auxiliary Multi-Agent Adversary Generation

Lei Yuan, Feng Chen, Zhongzhang Zhang, Yang Yu

TL;DR本文提出了一种适应性的多智能体辅助对抗生成方法（Multi-Agent Auxiliary Adversaries Generation for robust Communication，MA3C）以提高多智能体强化学习中通信策略的鲁棒性，其中引入了一种新型的信息攻击方法，并采用进化学习的赋权攻击器种群生成策略，同时训练发出消息的系统和攻击器以提高其适应能力。实验证明，该方法提高了多样性和鲁棒性。

Abstract

Communication can promote coordination in cooperative Multi-Agent Reinforcement Learning (MARL). Nowadays, existing works mainly focus on improving the communication efficiency of agents, neglecting that real-world communication is much more challenging as there may exist noise or potential attackers. Thus the →

multi-agent reinforcement learning communication-based policy robustness message-attacking approach evolutionary learning

发现论文，激发创造

强化学习与主动防御的鲁棒通信多智能体系统

多智能体强化学习中的通信经实验证明能有效促进代理之间的合作，然而，由于现实场景中通信容易受到干扰和攻击，因此开发鲁棒通信技术至关重要。本文提出了一种主动防御策略，使代理能够自动减少潜在有害信息对最终决策的影响。我们设计了一个主动防御多智能体通信框架（ADMAC），通过一个可分解的决策结构估计接收到的信息的可靠性，并相应地调整其对最终决策的影响。通过在四种攻击类型下进行三个通信关键任务的实验验证了 ADMAC 相对于现有方法的优越性。

Dec, 2023

进化生成辅助对抗攻击者实现鲁棒的多智能体协调

该研究提出了一种名为 ROMANCE 的方法，通过演化生成辅助对抗攻击者，使训练的策略在训练期间遭遇多样性和强大的辅助对抗攻击，从而实现对策略扰动的高鲁棒性。该方法在多种场景中表现出与其他基准方法相当甚至更好的鲁棒性和泛化能力。

May, 2023

具有新兴通讯的网络多智能体强化学习

本研究使用紧密联系的智能体通过互相交流离散符号彼此合作完成任务。通过分析他们之间的交流，证明了他们发展的语言与网络拓扑有关，并在交通控制器问题上实现了最先进的性能。

Apr, 2020

多智能体强化学习中的完全独立通信

研究对多智能体强化学习的通信方法进行了调查，发现独立学习者在不共享参数的情况下仍然可以学习通信策略，并观察到通信在不同网络容量下的影响。

Jan, 2024

多智能体强化学习与通信调查

本文介绍了多个方面可以在设计和开发多智能体强化学习系统中扮演角色的通信，并提出了 Comm-MARL 系统分析、开发和比较的几个维度。

Mar, 2022

未來無線網路中的多智能體強化學習中的新興通訊

该论文阐述了 EC-MARL 在未来 6G 无线网络中的重要性，该方法赋予网络实体自主决策能力，解决自动驾驶、机器人导航、飞行基站网络规划和智能城市应用等复杂任务，提供 EC-MARL 算法的概述、设计准则以及研究机会。

Sep, 2023

野火管理资源分配的图神经网络通信层协作自适应多智能体强化学习

提出一种基于多智能体强化学习和图神经网络通讯层的方法，在火灾管理资源分配中，通过通信环境特征和部分可见火灾，实现协作分配资源，优于贪心启发式基线和单智能体设置，并展示了自动课程和开放性对其泛化能力的改善。

Apr, 2022

多智能体强化学习的上下文感知通信

开发名为 CACOM 的上下文感知通信协议，通过多个阶段的粗略表示交换和注意机制，为多智能体强化学习提供了个性化的通信方案，采用学习的步长量化技术以减少通信开销，并在合作基准任务上实验结果证明 CACOM 在通信受限场景下提供了明显的性能提升。

Dec, 2023

通过任务不可知通信来推广多智能体协作

现有合作多机器人问题中的多智能体强化学习通信方法几乎全部是特定任务的，我们通过引入一种适用于给定环境中的任何任务的通信策略，解决了这种低效的问题。我们以一种自我监督的方式，使用一组自动编码器在没有特定任务奖励指导的情况下预训练通信策略，目标是从可变数量的智能体观察中学习一个固定大小的潜在马尔可夫状态。在温和的假设下，我们证明了使用我们的潜在表示的策略必定收敛，并上界了我们的马尔可夫状态近似引入的值误差。我们的方法使得无需微调通信策略即可无缝适应新任务，在训练期间支持更多智能体的扩展，并且能够检测环境中的异常事件。对不同的多智能体强化学习场景的实证结果验证了我们方法的有效性，在未知任务中优于特定任务的通信策略。

Mar, 2024

通过智能通信渠道协调多个代理商之间的政策

本文提出了一种新的多智能体强化学习通信方式，通过智能协调员筛选和解释所有代理提供的信号来提高个体的集体表现，该架构优于现有基线方法在多个合作环境中的表现。

May, 2022