基于强化学习的自动化渗透测试（AutoPT）已被证明能够提高信息系统中漏洞识别的效率。然而，基于强化学习的 PT 面临着一些挑战，包括采样效率低、奖励规定复杂以及可解释性有限。为解决这些问题，我们提出了一种基于知识的 AutoPT 框架，称为 DRLRM-PT，它利用奖励机器（RMs）将领域知识编码为培训 PT 策略的指南。在我们的研究中，我们特别关注作为 PT 案例研究的横向移动，并将其表述为由 RMs 引导的部分可观察马尔可夫决策过程（POMDP）。我们基于 MITRE ATT&CK 知识库为横向移动设计了两个 RMs。为了解决 POMDP 并优化 PT 策略，我们采用了带有 RM 的深度 Q 学习算法（DQRM）。实验结果表明，与不具有知识嵌入的 Agent 相比，DQRM Agent 在渗透测试中表现出更高的训练效率。此外，编码了更详细领域知识的 RMs 与编码较简单知识的 RMs 相比，在渗透测试性能方面表现更好。

May, 2024

本文提出了一种基于多目标强化学习的自动化渗透测试方法，包括 Chebyshev 分解批评家和覆盖率屏蔽机制，可在更短的时间内发现多样化的攻击策略，提高测试效率和准确性。

Feb, 2022

该研究使用增强学习方法来模拟勒索软件攻击，通过训练模型来快速学习有效的攻击策略，揭示网络弱点并开发更强大的防御措施。

Jun, 2024

通过采用基于强化学习的方法，模拟了一个三阶段的命令与控制流程，并建立了一个马尔可夫决策过程来最大化数据窃取的有价值主机数量，同时考虑到负载和防御机制，该方法在网络安全领域具有高效性且成果良好。

Jan, 2024

本文介绍了一种终端到终端的方法，用于研究攻击策略、设计防御代理并解释其运行。使用状态图可视化对抗行为，我们使用一组深入强化学习代理来训练不同任务部分并组织在浅层次结构中的防御模型，最终设计与之前工作相比性能有了实质性提高。最后，我们进行特征削弱和重要性研究来更好地研究我们代理的决策过程。

Jun, 2023

利用强化学习代理检测硬件特洛伊问题是一种解决硬件安全性挑战的新方法。

Aug, 2022

该研究探讨了反馈学习中的背门污染攻击，发现前期工作无法横跨领域和 Markov 决策过程进行泛化，所以提出了一种新的攻击框架并开发了 SleeperNets，以提高攻击成功率，并同时保持良性回报。

May, 2024

本文提出了关于在通过使用增强学习（RL）算法训练深度神经网络（DNN）控制器并用于控制随机系统的情况下，攻击者试图估计该系统反馈控制器的模型获取攻击问题，并提出一个两阶段的算法来解决该问题。

Apr, 2023

本文介绍了一种基于强化学习驱动的自适应黑盒测试策略，用于发现 Web 应用防火墙中的注入漏洞，通过聚类攻击样本并结合自适应搜索算法，有效地发现几乎所有的绕过攻击模式，实验证明该方法在测试配置良好的 WAF 时相比于其他方法可提高 33.53% 的绕过有效载荷发现率，并在找到第一个绕过有效载荷之前减少 63.16% 尝试次数。

Dec, 2023

本文利用强化学习 (Reinforcement Learning，RL) 自动化硬件特洛伊（Hardware Trojan, HT）嵌入过程，以消除制约 HT 检测方法成果的人为偏见。作者开发的工具集可以将组合 HT 插入 ISCAS-85 基准套件，具备 HT 大 小和触发条件的变化性，并证明了其效果高，输入覆盖率高达 100％，所插入的 HT 具有最小的体积和罕有的激活概率。

Apr, 2022