本文研究发现，基于深度强化学习的分类器同样存在容易受到篡改输入的对抗样本攻击，这导致了针对基于DQNs的策略诱导式攻击的出现。同时，我们验证了对抗性样本的可迁移性，提出了一种利用这种可迁移性的攻击机制，并通过对游戏学习场景的实验研究证明了其功效和影响。

Jan, 2017

提出了一种稳健性的敌对训练(robust adversarial reinforcement learning, RARL)方法，该方法将敌对训练与零和极小优化相结合，通过训练一个智能体，使其能够在真实系统上的杂乱因素和不确定性下操作，并在多种环境中进行了验证。

Mar, 2017

本文探究了深度强化学习中的对抗攻击，比较了使用对抗样本和随机噪声攻击的有效性，并提出了一种新的基于价值函数的方法来降低攻击的成功次数。此外，本文还研究了随机噪声和FGSM扰动对对抗攻击韧性的影响。

May, 2017

本文提出了针对强化学习的对抗攻击，并通过这些攻击提高了深度强化学习算法对参数不确定性的鲁棒性。我们展示了即使是一个简单的攻击也能成功降低深度强化学习算法的性能，并进一步使用工程丢失函数的梯度信息改进了攻击方法，导致性能进一步降低。这些攻击方法被用于训练中，以改善 RL 控制框架的鲁棒性。我们展示了在 Cart-pole，Mountain Car，Hopper 和 Half Cheetah 等 RL 基准测试环境中，对 DRL 算法进行对抗训练可以显著提高其对参数变化的鲁棒性。

Dec, 2017

通过提出状态对抗马尔可夫决策过程 (SA-MDP) 的理论框架和一种新的策略正则化方法，并在多个强白盒对抗攻击中测试，我们成功地提高了一系列深层强化学习算法在离散和连续动作控制问题上的鲁棒性。

Mar, 2020

该研究提出了RADIAL-RL框架，以提高深度强化学习代理的鲁棒性，经实验表明，RADIAL-RL代理在对抗攻击下的性能表现出色，同时提出了一种新的评估方法，称为Greedy Worst-Case Reward (GWC)。

Aug, 2020

本文探讨了深度强化学习策略中的鲁棒性问题，发现通过更自然的方式在黑盒设置中可以找到灵敏度方向，且相较于最先进的对抗性训练技术，普通训练技术可以使学习到的策略更加鲁棒。该实验结果可以为构建更加鲁棒的深度强化学习策略提供帮助。

Jan, 2023

建立强大的政策对抗或干扰深度强化学习代理至关重要，最近的研究探讨了状态对抗鲁棒性并暗示缺乏最优的鲁棒政策（ORP），从而在设置严格的鲁棒性约束方面提出了挑战。本文进一步研究了ORP，首先引入了政策一致性假设（CAP），即马尔可夫决策过程中的最优操作在轻微扰动下保持一致，通过实证和理论证据得到支持。在CAP的基础上，我们关键地证明了一种确定性和平稳的ORP的存在，并与Bellman最优政策相一致。此外，我们说明了在最小化Bellman误差以获得ORP时，L^∞-norm的必要性。这一发现阐明了针对具有L^1-norm的Bellman最优政策的先前DRL算法的脆弱性，并激励我们训练了一个一致对抗鲁棒深度Q网络（CAR-DQN），通过最小化Bellman无穷误差的替代品。CAR-DQN在各种基准测试中的顶级性能验证了其实际有效性，并加强了我们理论分析的可靠性。

Feb, 2024

本研究解决了深度强化学习代理在部署时对对抗扰动缺乏韧性的问题。我们提出了一种基于输入变换的防御方法，通过向量量化作为输入观察的变换，减少对抗攻击的影响。实验表明，采用向量量化有效提升了代理的抗攻击能力，并且该方法计算高效，能与对抗训练无缝结合。

Oct, 2024

本研究针对深度强化学习政策在真实世界应用中缺乏鲁棒性的问题，探讨了小状态扰动对其稳定性的影响。提出了一种改进的Dreamer V3架构，通过最大李雅普诺夫指数正则化来减少状态动态的混沌性，从而提高了学习政策对传感器噪声和对抗攻击的抵抗能力。这一方法大大增强了深度强化学习在实际应用中的适用性。

Oct, 2024