提出了一种稳健性的敌对训练(robust adversarial reinforcement learning, RARL)方法，该方法将敌对训练与零和极小优化相结合，通过训练一个智能体，使其能够在真实系统上的杂乱因素和不确定性下操作，并在多种环境中进行了验证。

Mar, 2017

本文提出了针对强化学习的对抗攻击，并通过这些攻击提高了深度强化学习算法对参数不确定性的鲁棒性。我们展示了即使是一个简单的攻击也能成功降低深度强化学习算法的性能，并进一步使用工程丢失函数的梯度信息改进了攻击方法，导致性能进一步降低。这些攻击方法被用于训练中，以改善 RL 控制框架的鲁棒性。我们展示了在 Cart-pole，Mountain Car，Hopper 和 Half Cheetah 等 RL 基准测试环境中，对 DRL 算法进行对抗训练可以显著提高其对参数变化的鲁棒性。

Dec, 2017

本文调查了深度强化学习网络在训练时间和测试时间的对抗攻击中的鲁棒性，结果显示在非连续的训练时间攻击中，通过调整策略，Deep Q-Network (DQN)代理能够恢复和适应对抗条件，相比较ε-贪婪和参数空间噪声探索方法，本文还对鲁棒性和抗干扰性进行了比较。

Dec, 2017

本研究主要研究深度强化学习模型的脆弱性，针对相应的攻击方式进行了探究，并提出了黑盒攻击、在线顺序攻击等攻击方法来应对其高计算需求，同时探讨了攻击者扰动环境动态的可能性，并通过实验验证了这些攻击方式的有效性。

Jul, 2019

研究了强化学习在面对敌对攻击(即使状态的扰动)时的鲁棒性，并提出了一种基于ATLA框架的方法来增强Agent的鲁棒性，通过训练online的对抗学习可以达到最优敌对攻击框架与提前学习历史数据等手段，从而提高强化学习在实验中的表现。

Jan, 2021

本文研究了安全强化学习中观测对抗攻击的安全性和鲁棒性，并提出了两种新方法以最大化代价或奖励来攻击目标，同时提出了一种鲁棒性训练框架。

May, 2022

建立强大的政策对抗或干扰深度强化学习代理至关重要，最近的研究探讨了状态对抗鲁棒性并暗示缺乏最优的鲁棒政策（ORP），从而在设置严格的鲁棒性约束方面提出了挑战。本文进一步研究了ORP，首先引入了政策一致性假设（CAP），即马尔可夫决策过程中的最优操作在轻微扰动下保持一致，通过实证和理论证据得到支持。在CAP的基础上，我们关键地证明了一种确定性和平稳的ORP的存在，并与Bellman最优政策相一致。此外，我们说明了在最小化Bellman误差以获得ORP时，L^∞-norm的必要性。这一发现阐明了针对具有L^1-norm的Bellman最优政策的先前DRL算法的脆弱性，并激励我们训练了一个一致对抗鲁棒深度Q网络（CAR-DQN），通过最小化Bellman无穷误差的替代品。CAR-DQN在各种基准测试中的顶级性能验证了其实际有效性，并加强了我们理论分析的可靠性。

Feb, 2024

通过正式验证的视角，我们对敌对输入的特征进行了全面分析，提出了一种新的指标——敌对率，用于划分模型对此类扰动的敏感性，并提供了计算该指标的一系列工具和算法。我们的分析在实证上展示了敌对输入如何影响给定深度强化学习系统在敏感性方面的安全性，并分析了这些配置的行为，提出了一些有用的实践和指导方针，以帮助减轻训练深度强化学习网络的脆弱性。

Feb, 2024

深度强化学习可以通过对抗训练提高其鲁棒性和可靠性，本研究对当代对抗性攻击方法进行了深入分析和分类，以提高深度强化学习代理的鲁棒性。

Mar, 2024

本研究解决了深度强化学习代理在部署时对对抗扰动缺乏韧性的问题。我们提出了一种基于输入变换的防御方法，通过向量量化作为输入观察的变换，减少对抗攻击的影响。实验表明，采用向量量化有效提升了代理的抗攻击能力，并且该方法计算高效，能与对抗训练无缝结合。

Oct, 2024