通过对抗性集成强化学习在非对称不完美信息游戏中实现强大的对手建模

Sep, 2019

通过对抗性集成强化学习在非对称不完美信息游戏中实现强大的对手建模

Robust Opponent Modeling via Adversarial Ensemble Reinforcement Learning in Asymmetric Imperfect-Information Games

Macheng Shen, Jonathan P. How

TL;DR本文提出了一种算法框架，用于在不完美信息的非对称博弈中学习鲁棒策略，并通过对手建模来推断对手类型，使用多智能体强化学习技术通过自我博弈学习对手模型，并使用集成训练方法来提高策略的稳健性，借助随机优化方案动态更新对手整体来平衡稳健性和计算复杂性。

Abstract

This paper presents an algorithmic framework for learning robust policies in asymmetric imperfect-information games, where the joint reward could depend on the uncertain opponent type (a private information known only to the opponent itself and its ally). In order to maximize the rewar

asymmetric imperfect-information games multiagent reinforcement learning opponent modeling ensemble training stochastic optimization

发现论文，激发创造

对手学习建模的学习

提出了一种名为 LeMOL 的对手学习动态建模方法，该方法用于结构化对手建模，以通过学习对手的适应和学习行为来降低策略搜索算法中的方差，从而提高多代理系统中算法代理的性能。

Jun, 2020

基于模型的多智能体策略优化与对手智能化决策

本文研究了多智能体强化学习中的基于模型的方法，提出了自适应对手推演策略优化（AORPO）的分散化的基于模型的 MARL 方法，旨在全过程中降低样本复杂度，并在竞争和合作任务中开展实证研究，表明 AORPO 能够实现比对比 MARL 方法更好的样本效率和相似的渐近性能。

May, 2021

深度强化学习中的对手建模

本文介绍了一种基于神经网络和任务多项式结构的对手建模方法，该方法能够应用于多智能体环境下的策略自适应，通过对足球和智力竞赛等游戏的模拟实验可知该方法胜于深度 Q 网络及其衍生方法。

Sep, 2016

合作多智能体强化学习的鲁棒性研究

本文通过针对一名特定智能体的定向攻击，研究了协作多智能体强化学习系统的不稳定性，同时引入了一种新的攻击方式，在 StartCraft II 多智能体基准测试上将团队胜率从 98.9% 降至 0%。

Mar, 2020

带最大熵目标的正则对手模型

本研究在多智能体环境下，重新定义二元随机变量 $o$ 并将多智能体强化学习形式化为概率推理。我们提出了一种名为 ROMMEO 的正则对手模型最大熵目标的变分下界，并从中展示了一种对手建模的新方法，理论和实证地证明其在协作游戏中可以提高训练智能体的性能。我们引入了一种名为 ROMMEO-Q 的表格 Q 迭代方法，并将其扩展为复杂环境下的 ROMMEO-AC 的近似版本，我们在挑战性的迭代矩阵游戏和微分游戏上评估了这两种算法，证明它们可以胜过强的多智能体强化学习基线。

May, 2019

多智能体系统中对手建模的变分自编码器

本研究使用变分自编码器对多智能体系统中特定行为进行对手建模，以及提出了一种使用局部信息来识别对手模型的方法，结果表明我们的对手建模方法在强化学习任务中取得了相当好的结果。

Jan, 2020

共识型多智能体强化学习中的对抗性攻击

本文旨在研究对一种采用共识型多智能体增强学习算法的网络所进行的对抗攻击行为的影响，我们发现敌对智能体可以诱导整个网络中的其他智能体实施优化其所期望的目标函数策略，因此证明了共识型多智能体增强学习算法的易遭受攻击的脆弱性。

Mar, 2021

合作多智能体强健性评估：基于模型的方法

本文提出了一种基于模型的方法来评估协作多智能体强化学习系统对抗攻击的鲁棒性，我们的方法能够更有效地对付对抗攻击，并且在多智能体 muJoCo 基准测试中优于其他基线。我们使用的对抗攻击方法是一个基于模型的攻击方法，可以通过选择受害 - 智能体的策略来增强攻击效果。

Feb, 2022

多人不完美信息博弈中的贝叶斯对手建模

本研究探讨了面对多个对手的策略交互游戏，使用对手建模和观察对手策略等技术，超越纯理性策略的表现。

Dec, 2022

强韧性对抗性强化学习

提出了一种稳健性的敌对训练 (robust adversarial reinforcement learning, RARL) 方法，该方法将敌对训练与零和极小优化相结合，通过训练一个智能体，使其能够在真实系统上的杂乱因素和不确定性下操作，并在多种环境中进行了验证。

Mar, 2017