重新思考敌对政策：多智能体 RL 中的广义攻击公式与可证明防御

May, 2023

重新思考敌对政策：多智能体 RL 中的广义攻击公式与可证明防御

Rethinking Adversarial Policies: A Generalized Attack Formulation and Provable Defense in Multi-Agent RL

Xiangyu Liu, Souradip Chakraborty, Yanchao Sun, Furong Huang

TL;DR本文研究在强化学习的多智能体环境中，攻击者通过对受害者智能体进行对抗性的过程来实施攻击，并提出了一种更一般化的攻击模型，通过攻击预算来实现对智能体的控制，可产生能够利用受害者智能体的隐蔽性对抗策略，同时提供了首个提供收敛证明的保护方案，以对抗最强的对抗性训练。

Abstract

Most existing works consider direct perturbations of victim's state/action or the underlying transition dynamics to show vulnerability of reinforcement learning agents under adversarial attacks. However, such direct manipulation may not always be feasible in practice. In this paper, we

reinforcement learning adversarial attacks multi-agent rl adversarial policy defense

发现论文，激发创造

强化学习的最优攻击与防御

为确保强化学习在真实系统中的可用性，需要保证其对噪声和对抗性攻击具有鲁棒性。本文研究在线操纵攻击的全类攻击形式，包括状态攻击、观察攻击、行动攻击和奖励攻击。我们通过马尔可夫决策过程（MDP）对隐藏在攻击交互中的元级环境进行建模，并展示了该攻击者设计隐蔽攻击以最大化其预期收益（通常对应于减小受害者价值）的问题。我们证明攻击者可以通过规划或使用标准强化学习技术进行学习，以多项式时间或多项式样本复杂度确定最优攻击策略。我们认为受害者的最优防御策略可以通过解决随机 Stackelberg 博弈获得，该博弈可以简化为部分可观察的交替轮流随机博弈（POTBSG）。攻击者和受害者都不会从偏离各自最优策略中获益，因此这些解决方案具有真正的鲁棒性。虽然防御问题是 NP 困难的，但我们证明在许多情况下最优马尔可夫防御策略可以在多项式时间（样本复杂度）内计算（学习）。

Nov, 2023

超越最坏情况攻击：非劣政策下的自适应防御强化学习

基于强化学习在现实世界中的蓬勃发展，我们研究了在状态对抗攻击模型下的策略稳健性，并致力于在有限策略类中找到既稳健又高效的近最优解，通过迭代发现非支配策略形成一个最小的近最优解，从而确保在不同攻击场景下的适应性。

Feb, 2024

对抗策略：攻击深度强化学习

在零和游戏的模拟人形机器人中，使用拥有不良意图的对手智能体可以生成表面上看似随机无序的行为，以攻击通过自我对弈训练而具有抵抗敌方攻击鲁棒性的最新受害者，尤其在高维度环境中更加有效，且可以诱导受害策略网络的不同反应。

May, 2019

针对受攻击方策略访问有限的强化学习的行为目标攻击

研究考虑攻击强化学习代理，其中对手通过对受害者的状态观察添加敌对修改来控制受害者的行为，提出了一种在黑盒和无盒设置中操纵受害者代理的新方法，无需特定环境启发式，并通过分布匹配问题解决现有的模仿学习算法，实证评估表明该方法攻击性能优于基准方法。

Jun, 2024

基于学习得到的优化对手的状态观测下鲁棒强化学习

研究了强化学习在面对敌对攻击 (即使状态的扰动) 时的鲁棒性，并提出了一种基于 ATLA 框架的方法来增强 Agent 的鲁棒性，通过训练 online 的对抗学习可以达到最优敌对攻击框架与提前学习历史数据等手段，从而提高强化学习在实验中的表现。

Jan, 2021

走向强壮的策略：通过对抗攻击和防守增强离线强化学习

该研究提出了一个框架，通过利用先进的对抗攻击和防御来提高离线强化学习模型的稳健性，并以 D4RL 基准进行了评估，结果显示了演员和评论家对攻击的脆弱性以及防御策略在提高策略稳健性方面的有效性，为提高实际场景中离线强化学习模型的可靠性提供了希望。

May, 2024

使用对抗训练提高强化学习在电力系统控制中的鲁棒性

本文针对电网控制系统的弱点进行研究，发现现有的强化学习算法存在敏感性，容易受到恶意攻击，提出了一种基于对抗训练的解决方案，以增强算法的安全性和鲁棒性。

Oct, 2021

可验证强化学习的策略平滑算法

本文针对强化学习中的深度神经网络，提出了一种能够直接认证总奖励且无需在每一时间步骤都保持鲁棒性的有效方法，其中使用了采样平滑和基于样条插值的鲁棒性证明。

Jun, 2021

具有对抗攻击的强化学习做法

本文提出了针对强化学习的对抗攻击，并通过这些攻击提高了深度强化学习算法对参数不确定性的鲁棒性。我们展示了即使是一个简单的攻击也能成功降低深度强化学习算法的性能，并进一步使用工程丢失函数的梯度信息改进了攻击方法，导致性能进一步降低。这些攻击方法被用于训练中，以改善 RL 控制框架的鲁棒性。我们展示了在 Cart-pole，Mountain Car，Hopper 和 Half Cheetah 等 RL 基准测试环境中，对 DRL 算法进行对抗训练可以显著提高其对参数变化的鲁棒性。

Dec, 2017

在线多智能体强化学习的高效对抗攻击

本文研究了敌对攻击对多智能体强化学习模型的影响，针对可改变奖励和可操纵动作的两类敌对攻击方式进行了限制，并引入一种混合攻击策略，证明了该攻击策略可以有效地攻击多智能体强化学习代理。

Jul, 2023