通过适应性规则对抗训练实现史塔克伯格博弈的坚韧强化学习

Feb, 2022

通过适应性规则对抗训练实现史塔克伯格博弈的坚韧强化学习

Robust Reinforcement Learning as a Stackelberg Game via Adaptively-Regularized Adversarial Training

Peide Huang, Mengdi Xu, Fei Fang, Ding Zhao

TL;DR本文介绍了一种用于强化学习的 Stackelberg 游戏模型 ——RRL-Stack，旨在提供额外的鲁棒性训练和解决目前 RL 训练中存在的过度保守智能及训练不稳定等问题，并提出了一种基于 Stackelberg Policy Gradient 算法的解决方案，在单一和多智能体任务中展现更好的训练稳定性和鲁棒性。

Abstract

robust reinforcement learning (RL) focuses on improving performances under model errors or adversarial attacks, which facilitates the real-life deployment of RL agents. robust adversarial reinforcement learning (

robust reinforcement learning robust adversarial reinforcement learning stackelberg game model stackelberg policy gradient algorithm training stability

发现论文，激发创造

强韧性对抗性强化学习

提出了一种稳健性的敌对训练 (robust adversarial reinforcement learning, RARL) 方法，该方法将敌对训练与零和极小优化相结合，通过训练一个智能体，使其能够在真实系统上的杂乱因素和不确定性下操作，并在多种环境中进行了验证。

Mar, 2017

风险厌恶稳健对抗强化学习

本文提出了一种风险规避的强化学习算法，通过引入风险规避主角和风险趋避对手的方式，使用价值函数方差来建模风险，避免极端不良事件的发生，该算法在自动驾驶控制器上的实验中证明具有较高的鲁棒性。

Mar, 2019

有界理性曲线下的鲁棒对抗强化学习

基于熵正则化的量子对抗增强学习 (QARL) 是一种新方法，通过渐进式增加对手的理性来简化优化问题的复杂性，从而提高稳健性以及在多个 MuJoCo 运动和导航问题上的整体性能。

Nov, 2023

使用对抗种群的鲁棒强化学习

利用强化学习中的对抗噪音和以聚集对手人口作为训练方法，改善了机器人领域中强化学习中的鲁棒性和泛化性能。

Aug, 2020

对抗正则化作为斯塔克伯格博弈：一种展开优化方法

该研究提出一种名为 SALT 的 Stackelberg 对抗正则化方法，它使得模型的性能在各种自然语言处理任务中都有了提高，尤其是在机器翻译任务中表现最好。

Apr, 2021

通过对抗式强化学习的强健市场做市

本研究证明对抗强化学习 (ARL) 可以用于产生适应性强、抗干扰的做市商代理。我们将 Avellaneda 和 Stoikov [2008] 的单一代理模型转化为做市商和对手之间的离散时间零和游戏，实验证明 ARL 方法的性能改善显著，收敛到纳什均衡。

Mar, 2020

基于反证法的强化学习鲁棒性敌对攻击

本文提出了基于 Falsification 的 Robust Adversarial Reinforcement Learning (FRARL) 框架，将时序逻辑 Falsification 整合到 Adversarial Learning 中以提高策略的鲁棒性，实验结果表明，采用该框架训练的智能体比其他方法更具有通用性和遵守安全规则的能力。

Jul, 2020

零和位置差分博弈作为鲁棒强化学习的框架：深度 Q 学习方法

该研究论文提出了鲁棒强化学习（RRL）通过考虑位置微分博弈理论中的 RRL 问题，给出了理论上的合理性，并发展了一种集中式 Q 学习方法。利用该方法，我们证明了在 Isaacs 的条件下（适用于现实世界的动态系统），同一个 Q 函数可以被用作最小最大化 Bellman 方程的近似解，基于这些结果，我们提出了 Isaacs 深度 Q 网络算法，并在不同环境中展示了它们相对于其他基线 RRL 和多智能体 RL 算法的优越性。

May, 2024

通过对抗正则化实现稳健的多智能体强化学习：理论基础和稳定算法

通过控制一个策略的利普希茨常数，我们展示了在固定条件下的利普希茨和接近最优策略的存在，并基于此提出了新的强健 MARL 框架 ERNIE，通过对状态观测和动作进行对抗性正则化来提高其的利普希茨连续性，并展示了在交通灯控制和粒子环境中的广泛实验。另外，我们扩展了 ERNIE 到基于分布鲁棒优化的 mean-field MARL，该方法在性能上超越了非强健对照组，并具有独立因素。

Oct, 2023

强化学习中的目标：解决 Stackelberg 安全博弈

本篇综述关注强化学习在 Stackelberg 安全博弈中的建模，重点在于探讨强化学习算法中目标表示的可能改进和代理控制目标的能力评估，这种方法已经成功应用于类似非法走私、偷猎、森林砍伐、气候变化、机场安全等现实世界场景。

Nov, 2022