本文提出了一种对抗性强化学习算法以最大化自主车辆动态控制对网络物理攻击的鲁棒性，通过分析状态估计过程并在博弈理论框架中研究了攻击者和自主车辆之间的互动以及提出了长短期记忆的使用，同时研究了数据处理的过程以提高面对网络物理攻击的鲁棒性。

May, 2018

本文综述了应用深度强化学习方法来解决网络安全领域中的复杂、动态和高维防御问题的DRL方法，并强调了DRL在网络物理系统，自主入侵检测和通过游戏模拟来应对网络攻击的策略防御方面的价值，同时也提出了对未来DRL网络安全研究发展的建议。

Jun, 2019

本文介绍了 Adversarial Resilience Learning（ARL）概念，其定义了两个代理类，即攻击者和防御者，这两个代理机器人在没有任何领域知识的情况下互相探索和训练，并且可以使用广泛的模型自由和模型基础的深度强化学习算法，例如在复杂的电力网络上运行实验，以实现复杂环境下的检查和弹性运行。

May, 2020

本文提出了基于 Falsification 的 Robust Adversarial Reinforcement Learning (FRARL) 框架，将时序逻辑 Falsification 整合到 Adversarial Learning 中以提高策略的鲁棒性，实验结果表明，采用该框架训练的智能体比其他方法更具有通用性和遵守安全规则的能力。

Jul, 2020

研究了机器学习在具备恶意状态/执行机构攻击下的表现，介绍了深度强化学习在决策和控制任务中存在漏洞的问题，提出了通过对抗训练来提高深度强化学习代理的抗干扰性以实现系统的稳定性和鲁棒性。

Jul, 2020

提出一种基于深度强化学习的错误检测方法，不仅可以高精度检测错误，而且检测时间非常短，并可以对不同类型的错误进行分类，评估结果表明该方法在准确性和推理时间方面的性能得到了显著提高。

Feb, 2023

近年来网络攻击数量的快速增加使得有必要提出原则性方法来防御恶意行为者。深度强化学习已成为一种有望减轻这些攻击的方法，但在大规模应用于自主网络操作之前，需要克服许多挑战。本文调研了相关的深度强化学习文献，并构思了一个理想的自主网络操作的深度强化学习代理，提供了领域特性概要、深度强化学习方法与自主网络操作之间的比较、扩展深度强化学习的方法以应对高维状态空间挑战以及限制对抗环境中代理利用性的现有方法的概述和评价，并提出未来的研究问题。

Oct, 2023

通过检查以测试为基础的验证和验证作为最实用的方法，并总结当前先进的方法学，在确保学习能力的 CPS 的形式安全方面，确定了当前测试方法的局限性，并提出了从基础概率测试过渡到更严格方法的路线图，以提供正式保证。

Nov, 2023

在该研究论文中，介绍了一种新的容错概念，旨在描述控制器在系统中可能出现的偏差下满足特定系统要求的能力。基于该定义，提出了一种新颖的分析问题——容错验证问题，其中包括寻找导致给定要求违反的小偏差。通过构建一系列基准问题来评估该方法，在系统中可以配置系统参数以表示不同类型的不确定性和干扰，实验表明，我们的验证方法和启发式算法能够有效地找到小偏差。

Jun, 2024

本研究针对深度强化学习政策在真实世界应用中缺乏鲁棒性的问题，探讨了小状态扰动对其稳定性的影响。提出了一种改进的Dreamer V3架构，通过最大李雅普诺夫指数正则化来减少状态动态的混沌性，从而提高了学习政策对传感器噪声和对抗攻击的抵抗能力。这一方法大大增强了深度强化学习在实际应用中的适用性。

Oct, 2024