应对动态对抗性不确定性的网络系统防御中的深度强化学习

Feb, 2023

应对动态对抗性不确定性的网络系统防御中的深度强化学习

Deep Reinforcement Learning for Cyber System Defense under Dynamic Adversarial Uncertainties

Ashutosh Dutta, Samrat Chatterjee, Arnab Bhattacharya, Mahantesh Halappanavar

TL;DR本文根据系统状态不确定性和攻防动态的特征，提出了一个数据驱动的 DRL 框架，学习上下文感知的防御措施，以动态适应不断变化的对抗行为，同时最大程度减少对网络系统运营的影响，在多阶段攻击和系统不确定性下，DRL 算法在积极的网络防御中具有很好的效果。

Abstract

Development of autonomous cyber system defense strategies and action recommendations in the real-world is challenging, and includes characterizing system state uncertainties and attack-defense dynamics. We propose a dat

autonomous cyber system defense data-driven deep reinforcement learning proactive defense countermeasures dynamic defense optimization multi-stage attack sequences

发现论文，激发创造

深度强化学习在网络安全中的应用

本文综述了应用深度强化学习方法来解决网络安全领域中的复杂、动态和高维防御问题的 DRL 方法，并强调了 DRL 在网络物理系统，自主入侵检测和通过游戏模拟来应对网络攻击的策略防御方面的价值，同时也提出了对未来 DRL 网络安全研究发展的建议。

Jun, 2019

深度强化学习在自主网络操作中的应用调查

近年来网络攻击数量的快速增加使得有必要提出原则性方法来防御恶意行为者。深度强化学习已成为一种有望减轻这些攻击的方法，但在大规模应用于自主网络操作之前，需要克服许多挑战。本文调研了相关的深度强化学习文献，并构思了一个理想的自主网络操作的深度强化学习代理，提供了领域特性概要、深度强化学习方法与自主网络操作之间的比较、扩展深度强化学习的方法以应对高维状态空间挑战以及限制对抗环境中代理利用性的现有方法的概述和评价，并提出未来的研究问题。

Oct, 2023

通过对抗攻击和训练的强大深度强化学习：一项综述

深度强化学习可以通过对抗训练提高其鲁棒性和可靠性，本研究对当代对抗性攻击方法进行了深入分析和分类，以提高深度强化学习代理的鲁棒性。

Mar, 2024

用多智 - Agent 强化学习从零开始学习网络防御策略

深度学习技术的最新进展为自主网络防御的设计提供了新的可能性，智能代理团队在计算机网络防御角色中可能揭示了保护网络和运动资产的有希望的途径，该研究对比了基于价值的独立学习和集中训练去中心化执行的合作多代理强化学习方法，表明这两种方法都优于简单的多代理启发式防御者，这项工作展示了合作多代理强化学习在学习有效的网络防御策略对抗不同威胁方面的能力。

Aug, 2023

深度强化学习攻击特征分析

本研究主要研究深度强化学习模型的脆弱性，针对相应的攻击方式进行了探究，并提出了黑盒攻击、在线顺序攻击等攻击方法来应对其高计算需求，同时探讨了攻击者扰动环境动态的可能性，并通过实验验证了这些攻击方式的有效性。

Jul, 2019

软件定义网络中的对抗深度强化学习在网络安全中的应用

该研究聚焦于利用自主攻击性方法在深度强化学习 (DRL) 中提升训练的鲁棒性，并探索在软件定义网络 (SDN) 中将对抗学习应用于 DRL 以实现自主安全性的影响。通过比较两个算法，DDQN 和 NEC2DQN（或 N2D），发现通过引入因果性攻击来实施对抗学习，算法仍能根据自身的具体优势保护网络。

Aug, 2023

深度强化学习的认证对抗鲁棒性

本文研究基于深度神经网络的自主决策系统的安全性，提出了一种基于认证对抗鲁棒性的在线防御机制，该机制计算执行过程中状态 - 动作值的保证下限，以在可能存在对手或噪声导致输入空间最差情况偏离选择最佳行动，在行人碰撞回避场景和一个经典控制任务中，该方法显示出提高对噪声和对手的鲁棒性。

Oct, 2019

使用基于图的网络攻击模拟训练自动化防御策略

实现并评估了一种基于强化学习的自动化网络防御代理程序，该代理以安全警报作为输入并使用强化学习学习执行预定义的防御措施的策略，使用攻击图模拟网络攻击的环境中，被攻击者执行保护任务。该方法通过使用不同大小的攻击图、攻击者攻击策略和不同的检测系统噪声来进行评估。实验表明，通过强化学习训练的防御代理程序的性能优于使用启发式策略的代理程序，并能够概括不同的攻击者策略。

Apr, 2023

使用对抗训练提高强化学习在电力系统控制中的鲁棒性

本文针对电网控制系统的弱点进行研究，发现现有的强化学习算法存在敏感性，容易受到恶意攻击，提出了一种基于对抗训练的解决方案，以增强算法的安全性和鲁棒性。

Oct, 2021

针对深度强化学习的隐蔽高效敌对攻击

探索针对深度强化学习的对抗攻击，并提出两种攻击技术：关键点攻击和拮抗攻击，以提高鲁棒性，实验结果显示这两种技术比现有方法更具优势。

May, 2020