通过对抗正则化实现稳健的多智能体强化学习：理论基础和稳定算法

Oct, 2023

通过对抗正则化实现稳健的多智能体强化学习：理论基础和稳定算法

Robust Multi-Agent Reinforcement Learning via Adversarial Regularization: Theoretical Foundation and Stable Algorithms

Alexander Bukharin, Yan Li, Yue Yu, Qingru Zhang, Zhehui Chen...

TL;DR通过控制一个策略的利普希茨常数，我们展示了在固定条件下的利普希茨和接近最优策略的存在，并基于此提出了新的强健 MARL 框架 ERNIE，通过对状态观测和动作进行对抗性正则化来提高其的利普希茨连续性，并展示了在交通灯控制和粒子环境中的广泛实验。另外，我们扩展了 ERNIE 到基于分布鲁棒优化的 mean-field MARL，该方法在性能上超越了非强健对照组，并具有独立因素。

Abstract

multi-agent reinforcement learning (MARL) has shown promising results across several domains. Despite this promise, MARL policies often lack robustness and are therefore sensitive to small changes in their enviro

multi-agent reinforcement learning robustness lipschitz constant adversarial regularization distributionally robust optimization

发现论文，激发创造

多智能体强化学习的统一博弈论方法

本文提出了一种基于深度强化学习的近似最佳响应策略混合和实证博弈理论分析的算法，用以解决多智能体强化学习中独立强化学习过度拟合其他智能体政策的问题，并且在网格世界协调游戏和扑克牌等部分可观察环境中取得了不错的结果.

Nov, 2017

通过适应性规则对抗训练实现史塔克伯格博弈的坚韧强化学习

本文介绍了一种用于强化学习的 Stackelberg 游戏模型 ——RRL-Stack，旨在提供额外的鲁棒性训练和解决目前 RL 训练中存在的过度保守智能及训练不稳定等问题，并提出了一种基于 Stackelberg Policy Gradient 算法的解决方案，在单一和多智能体任务中展现更好的训练稳定性和鲁棒性。

Feb, 2022

通过对抗性集成强化学习在非对称不完美信息游戏中实现强大的对手建模

本文提出了一种算法框架，用于在不完美信息的非对称博弈中学习鲁棒策略，并通过对手建模来推断对手类型，使用多智能体强化学习技术通过自我博弈学习对手模型，并使用集成训练方法来提高策略的稳健性，借助随机优化方案动态更新对手整体来平衡稳健性和计算复杂性。

Sep, 2019

多智能体强化学习中的稀疏对抗攻击

本篇论文介绍了 cMARL 系统中的稀疏对抗攻击方法，并探究了该方法的训练策略与效果。实验结果表明，该方法能够显著降低 cMARL 系统中受到少量攻击智能体的性能。

May, 2022

合作多智能体强化学习的鲁棒性研究

本文通过针对一名特定智能体的定向攻击，研究了协作多智能体强化学习系统的不稳定性，同时引入了一种新的攻击方式，在 StartCraft II 多智能体基准测试上将团队胜率从 98.9% 降至 0%。

Mar, 2020

合作多智能体强化学习鲁棒性综合测试

提出了一种用于 c-MARL 算法的鲁棒性测试框架 MARLSafe，此框架能够全面从三个方面（状态鲁棒性、行动鲁棒性和奖励鲁棒性）进行测试，以及多方面提出了用于 c-MARL 攻击的鲁棒性测试算法。实验证明，许多最新的 c-MARL 算法在所有方面的鲁棒性都较低，因此迫切需要测试和提高 c-MARL 算法的鲁棒性。

Apr, 2022

具有状态不确定性的鲁棒多智能体强化学习

在多智能体强化学习中，本研究首次尝试模拟带有状态不确定性的马尔科夫博弈问题，提出鲁棒性的解决方案，并设计了两种算法，RMAQ 和 RMAAC，用于处理高维状态 - 动作空间，在存在状态不确定性下，实验证明这两种算法在多智能体环境中表现出色。

Jul, 2023

如何解决国家对抗性多智能体强化学习？

本文提出了一种新的状态对抗性马尔可夫博弈模型，基于最坏情况下预期状态价值最大的状态强化学习策略，尝试解决现有方法在状态不确定性下的一些问题，同时提出了一种新的鲁棒性算法 RMA3C，并证明了有限状态有限行动空间下稳健代理策略的存在性，实验结果显示出其对于状态扰动的鲁棒性更高。

Dec, 2022

强韧性对抗性强化学习

提出了一种稳健性的敌对训练 (robust adversarial reinforcement learning, RARL) 方法，该方法将敌对训练与零和极小优化相结合，通过训练一个智能体，使其能够在真实系统上的杂乱因素和不确定性下操作，并在多种环境中进行了验证。

Mar, 2017

利用对称先验进行多智体强化学习

本文提出了一个框架，通过整合数据增强和良好设计的一致性损失，利用先前的知识来改善现有的多智能体强化学习方法，该框架适用于大多数现有的多智能体强化学习算法，并在多项具有挑战性的任务上进行了实验验证其有效性，同时在物理多机器人测试平台上证明了该框架的优越性。

Jul, 2023