对抗策略：攻击深度强化学习

ICLRMay, 2019

Adversarial Policies: Attacking Deep Reinforcement Learning

Adam Gleave, Michael Dennis, Cody Wild, Neel Kant, Sergey Levine...

TL;DR在零和游戏的模拟人形机器人中，使用拥有不良意图的对手智能体可以生成表面上看似随机无序的行为，以攻击通过自我对弈训练而具有抵抗敌方攻击鲁棒性的最新受害者，尤其在高维度环境中更加有效，且可以诱导受害策略网络的不同反应。

Abstract

deep reinforcement learning (RL) policies are known to be vulnerable to adversarial perturbations to their observations, similar to adversarial examples for classifiers. However, an attacker is not usually able to directly modify another agent's observations. This might lead one to won

deep reinforcement learning adversarial policies zero-sum games multi-agent environment robot simulations

发现论文，激发创造

神经网络策略的对抗性攻击

本研究研究了针对神经网络策略的对抗攻击，发现现有的对抗样本制作技术能够很好地降低训练策略的测试时间性能，并且一些小干扰就能引起显著性能下降。

Feb, 2017

深度策略对抗攻击探究

本文探究了深度强化学习中的对抗攻击，比较了使用对抗样本和随机噪声攻击的有效性，并提出了一种新的基于价值函数的方法来降低攻击的成功次数。此外，本文还研究了随机噪声和 FGSM 扰动对对抗攻击韧性的影响。

May, 2017

深度强化学习的白盒对抗策略

本文研究白盒子对抗策略的效果，发现黑盒子对抗相对于对抗策略而言效果较差，训练白盒子对抗可以提高单 agent 环境的鲁棒性。

Sep, 2022

基于学习得到的优化对手的状态观测下鲁棒强化学习

研究了强化学习在面对敌对攻击 (即使状态的扰动) 时的鲁棒性，并提出了一种基于 ATLA 框架的方法来增强 Agent 的鲁棒性，通过训练 online 的对抗学习可以达到最优敌对攻击框架与提前学习历史数据等手段，从而提高强化学习在实验中的表现。

Jan, 2021

重新思考敌对政策：多智能体 RL 中的广义攻击公式与可证明防御

本文研究在强化学习的多智能体环境中，攻击者通过对受害者智能体进行对抗性的过程来实施攻击，并提出了一种更一般化的攻击模型，通过攻击预算来实现对智能体的控制，可产生能够利用受害者智能体的隐蔽性对抗策略，同时提供了首个提供收敛证明的保护方案，以对抗最强的对抗性训练。

May, 2023

强化学习的最优攻击与防御

为确保强化学习在真实系统中的可用性，需要保证其对噪声和对抗性攻击具有鲁棒性。本文研究在线操纵攻击的全类攻击形式，包括状态攻击、观察攻击、行动攻击和奖励攻击。我们通过马尔可夫决策过程（MDP）对隐藏在攻击交互中的元级环境进行建模，并展示了该攻击者设计隐蔽攻击以最大化其预期收益（通常对应于减小受害者价值）的问题。我们证明攻击者可以通过规划或使用标准强化学习技术进行学习，以多项式时间或多项式样本复杂度确定最优攻击策略。我们认为受害者的最优防御策略可以通过解决随机 Stackelberg 博弈获得，该博弈可以简化为部分可观察的交替轮流随机博弈（POTBSG）。攻击者和受害者都不会从偏离各自最优策略中获益，因此这些解决方案具有真正的鲁棒性。虽然防御问题是 NP 困难的，但我们证明在许多情况下最优马尔可夫防御策略可以在多项式时间（样本复杂度）内计算（学习）。

Nov, 2023

针对状态观测的鲁棒深度强化学习对抗扰动

通过提出状态对抗马尔可夫决策过程 (SA-MDP) 的理论框架和一种新的策略正则化方法，并在多个强白盒对抗攻击中测试，我们成功地提高了一系列深层强化学习算法在离散和连续动作控制问题上的鲁棒性。

Mar, 2020

深度强化学习在策略诱导攻击中的漏洞

本文研究发现，基于深度强化学习的分类器同样存在容易受到篡改输入的对抗样本攻击，这导致了针对基于 DQNs 的策略诱导式攻击的出现。同时，我们验证了对抗性样本的可迁移性，提出了一种利用这种可迁移性的攻击机制，并通过对游戏学习场景的实验研究证明了其功效和影响。

Jan, 2017

深度强化学习攻击特征分析

本研究主要研究深度强化学习模型的脆弱性，针对相应的攻击方式进行了探究，并提出了黑盒攻击、在线顺序攻击等攻击方法来应对其高计算需求，同时探讨了攻击者扰动环境动态的可能性，并通过实验验证了这些攻击方式的有效性。

Jul, 2019

深度强化学习：不死之身的秘诀

本文调查了深度强化学习网络在训练时间和测试时间的对抗攻击中的鲁棒性，结果显示在非连续的训练时间攻击中，通过调整策略，Deep Q-Network (DQN) 代理能够恢复和适应对抗条件，相比较 ε- 贪婪和参数空间噪声探索方法，本文还对鲁棒性和抗干扰性进行了比较。

Dec, 2017