合作多智能体强化学习的鲁棒性研究

Mar, 2020

合作多智能体强化学习的鲁棒性研究

On the Robustness of Cooperative Multi-Agent Reinforcement Learning

Jieyu Lin, Kristina Dzeparoska, Sai Qian Zhang, Alberto Leon-Garcia, Nicolas Papernot

TL;DR本文通过针对一名特定智能体的定向攻击，研究了协作多智能体强化学习系统的不稳定性，同时引入了一种新的攻击方式，在 StartCraft II 多智能体基准测试上将团队胜率从 98.9% 降至 0%。

Abstract

In cooperative multi-agent reinforcement learning (c-MARL), agents learn to cooperatively take actions as a team to maximize a total team reward. We analyze the robustness of c-MARL to adversaries capable of atta

cooperative multi-agent reinforcement learning adversarial attacks policy network startcraft ii team reward

发现论文，激发创造

合作多智能体强健性评估：基于模型的方法

本文提出了一种基于模型的方法来评估协作多智能体强化学习系统对抗攻击的鲁棒性，我们的方法能够更有效地对付对抗攻击，并且在多智能体 muJoCo 基准测试中优于其他基线。我们使用的对抗攻击方法是一个基于模型的攻击方法，可以通过选择受害 - 智能体的策略来增强攻击效果。

Feb, 2022

多智能体强化学习中的稀疏对抗攻击

本篇论文介绍了 cMARL 系统中的稀疏对抗攻击方法，并探究了该方法的训练策略与效果。实验结果表明，该方法能够显著降低 cMARL 系统中受到少量攻击智能体的性能。

May, 2022

合作多智能体强化学习鲁棒性综合测试

提出了一种用于 c-MARL 算法的鲁棒性测试框架 MARLSafe，此框架能够全面从三个方面（状态鲁棒性、行动鲁棒性和奖励鲁棒性）进行测试，以及多方面提出了用于 c-MARL 攻击的鲁棒性测试算法。实验证明，许多最新的 c-MARL 算法在所有方面的鲁棒性都较低，因此迫切需要测试和提高 c-MARL 算法的鲁棒性。

Apr, 2022

共识型多智能体强化学习中的对抗性攻击

本文旨在研究对一种采用共识型多智能体增强学习算法的网络所进行的对抗攻击行为的影响，我们发现敌对智能体可以诱导整个网络中的其他智能体实施优化其所期望的目标函数策略，因此证明了共识型多智能体增强学习算法的易遭受攻击的脆弱性。

Mar, 2021

在线多智能体强化学习的高效对抗攻击

本文研究了敌对攻击对多智能体强化学习模型的影响，针对可改变奖励和可操纵动作的两类敌对攻击方式进行了限制，并引入一种混合攻击策略，证明了该攻击策略可以有效地攻击多智能体强化学习代理。

Jul, 2023

针对对手感知的去中心化网络多智能体强化学习算法

研究了去中心化的多智能体强化学习算法，引入了对抗性智能体对共识更新的漏洞，并提出了一种算法，使得非对抗性智能体在受限制的情况下达成共识。

May, 2023

增强 QMIX 对抗状态攻击的鲁棒性

研究通过使用 QMIX 算法作为例子，讨论了四种方法来提高单智能体强化学习算法的鲁棒性，并将它们扩展到多智能体情景中，并使用各种攻击来训练模型，以增加多智能体强化学习算法的鲁棒性。

Jul, 2023

合作多智能体强化学习的认证策略平滑化

提出了基于虚警率控制和基于树搜索的算法用于分析多智能体的鲁棒性。实验证明该方法产生的可靠性界限比现有模型更紧密。

Dec, 2022

进化生成辅助对抗攻击者实现鲁棒的多智能体协调

该研究提出了一种名为 ROMANCE 的方法，通过演化生成辅助对抗攻击者，使训练的策略在训练期间遭遇多样性和强大的辅助对抗攻击，从而实现对策略扰动的高鲁棒性。该方法在多种场景中表现出与其他基准方法相当甚至更好的鲁棒性和泛化能力。

May, 2023

机器人团队的分布式强化学习：回顾

本文总结了分布式无模型多智能体强化学习在多机器人协作中面临的挑战以及现有的解决方案类别，并介绍了基准测试和机器人应用，同时讨论了当前的研究方向。

Apr, 2022