MEGA-PT：一个敏捷渗透测试的元游戏框架
本文介绍了一个完整的PDDL攻击模型表示，整合规划器到渗透测试工具中的实现，可以自动为渗透测试方案生成攻击路径，并通过对真实目标网络执行相应的操作来验证这些攻击，包括利用漏洞等。同时，作者提出一种从渗透测试工具中提取信息到规划领域的算法，并展示如何使用当前的规划器解决攻击图的可伸缩性问题。作者的解决方案的性能分析表明，该模型可扩展到中等规模网络和当前渗透测试工具中可用的操作数量。
Jun, 2013
本文提出了一种基于神经虚构自我博弈的学习方法，NSG-NFSP，来解决大规模复杂形式网络安全博弈，主要贡献包括改进最佳响应策略网络，转换平均策略网络为基于度量的分类器，加入高层次动作，以及利用 NSG 图节点嵌入信息进行学习。该算法在可伸缩性和解决方案质量方面明显优于现有的算法。
Jun, 2021
本文提出了一种基于多目标强化学习的自动化渗透测试方法，包括Chebyshev分解批评家和覆盖率屏蔽机制，可在更短的时间内发现多样化的攻击策略，提高测试效率和准确性。
Feb, 2022
本文研究使用强化学习实现自动入侵防御。通过将攻击者和防守者之间的交互形式化为最优停止博弈并使用强化学习和自我对弈来让攻击和防御策略进化，我们找到有效应对动态攻击者的防御者策略，并通过引入T-FP（一种虚构的自我对弈算法）来学习纳什均衡。我们发现我们的整体方法可以为实际IT基础架构产生有效的防御策略。
May, 2022
利用大语言模型（如GPT3.5）增强渗透测试人员的能力，通过高级任务规划和低级漏洞挖掘两个使用案例，实现了与人工智能合作伙伴的潜在应用，并在可漏洞虚拟机中实施自动化攻击向量及分析，并对提供基于人工智能的合作伙伴的伦理问题进行了讨论。
Jul, 2023
我们研究了IT基础设施的自动入侵响应，并将攻击者和防御者之间的交互建模为部分观测的随机博弈。通过强化学习和自我对抗使攻击和防御策略共同演化到均衡点，我们解决了这个博弈。我们通过将博弈递归地分解为可以并行求解的子博弈，解决了之前的方法在规模较大的实际场景中随着基础设施规模指数级增长的计算复杂度问题。我们引入了名为Decompositional Fictitious Self-Play（DFSP）的算法来解决分解后的博弈，该算法通过随机逼近来学习纳什均衡。我们在一个仿真环境中评估了学习到的策略，其中可以执行真实的入侵和响应行动。结果表明，学习到的策略接近一个均衡点，并且DFSP在实际基础设施配置下明显优于现有算法。
Sep, 2023
我们提出了Raiju框架，这是一个基于强化学习的自动化方法，可帮助渗透测试人员快速完成网络系统的后渗透安全评估过程。通过使用两种强化学习算法（A2C和PPO）训练智能代理，我们实现了自动选择和执行行动以利用目标系统中的漏洞，从而自动化渗透测试工作流程的某些方面，增强其对新出现的威胁和漏洞的响应能力。
Sep, 2023
我们研究了一个IT基础设施的自动化安全响应，并将攻击者和防御者之间的交互形式化为一种部分观察到的非稳定游戏。我们通过估计模型的概率性猜想来捕捉基础设施和玩家意图的不确定性，利用贝叶斯学习和回滚的方法在线学习有效的游戏策略，并证明了推测收敛于最佳拟合，并提供了基于推测模型的性能改进的界限。我们提出了Berk-Nash均衡的一种变体来刻画游戏的稳态。通过一个高级持续威胁的使用案例来展示我们的方法。基于测试平台的模拟研究表明，我们的方法能够产生适应不断变化的环境的有效安全策略，并且我们还发现相比当前的强化学习技术，我们的方法能够实现更快的收敛。
Feb, 2024
当前面临前所未有的网络战争，以战术的快速演变、情报的不对称性增加和黑客工具的日益可获得化为特点。在这一背景下，网络欺骗作为我们防御策略中的关键组成部分应运而生，本章旨在强调博弈论模型和基础模型（FM）在分析、设计和实施网络欺骗策略中的至关重要作用。博弈模型为建模各种对抗性互动提供了基础框架，使我们能够将对抗知识和领域专业知识融合于一体。与此同时，基础模型作为创建适用于特定应用程序的定制机器学习模型的构建块。通过充分利用博弈模型和基础模型之间的协同作用，我们可以通过不仅保护网络免受攻击，而且增强其对精心计划的行动的韧性，推动主动和自动化的网络防御机制。本章讨论了战争的战术、作战和战略层面上的博弈，并深入探讨了这些方法之间的共生关系以及相关应用，这种框架在网络安全领域可以产生重大影响。该章还讨论了多智能体神经符号假设学习（MANSCOL）的前景方向，使防御者能够预测对抗行为、设计适应性的防御性欺骗策略，并为操作级合成和适应性综合的知识进行综合。基础模型在MANSCOL的各个功能中起着关键的作用，包括强化学习、知识同化、假设形成和上下文表示。本章最后讨论了基础模型在网络安全领域的应用所面临的挑战。
Mar, 2024