探索针对深度强化学习的对抗攻击,并提出两种攻击技术:关键点攻击和拮抗攻击,以提高鲁棒性,实验结果显示这两种技术比现有方法更具优势。
May, 2020
本文提出了针对强化学习的对抗攻击,并通过这些攻击提高了深度强化学习算法对参数不确定性的鲁棒性。我们展示了即使是一个简单的攻击也能成功降低深度强化学习算法的性能,并进一步使用工程丢失函数的梯度信息改进了攻击方法,导致性能进一步降低。这些攻击方法被用于训练中,以改善 RL 控制框架的鲁棒性。我们展示了在 Cart-pole,Mountain Car,Hopper 和 Half Cheetah 等 RL 基准测试环境中,对 DRL 算法进行对抗训练可以显著提高其对参数变化的鲁棒性。
Dec, 2017
深度强化学习可以通过对抗训练提高其鲁棒性和可靠性,本研究对当代对抗性攻击方法进行了深入分析和分类,以提高深度强化学习代理的鲁棒性。
Mar, 2024
通过强化学习实现攻击,在考虑攻击效果和匿名性的前提下,使用新的攻击性能指标对此方法进行评估,初步实验结果表明了该方法的有效性、鲁棒性和可转移性。
May, 2022
该研究提出了一个框架,通过利用先进的对抗攻击和防御来提高离线强化学习模型的稳健性,并以 D4RL 基准进行了评估,结果显示了演员和评论家对攻击的脆弱性以及防御策略在提高策略稳健性方面的有效性,为提高实际场景中离线强化学习模型的可靠性提供了希望。
May, 2024
本文调查了深度强化学习网络在训练时间和测试时间的对抗攻击中的鲁棒性,结果显示在非连续的训练时间攻击中,通过调整策略,Deep Q-Network (DQN) 代理能够恢复和适应对抗条件,相比较 ε- 贪婪和参数空间噪声探索方法,本文还对鲁棒性和抗干扰性进行了比较。
为确保强化学习在真实系统中的可用性,需要保证其对噪声和对抗性攻击具有鲁棒性。本文研究在线操纵攻击的全类攻击形式,包括状态攻击、观察攻击、行动攻击和奖励攻击。我们通过马尔可夫决策过程(MDP)对隐藏在攻击交互中的元级环境进行建模,并展示了该攻击者设计隐蔽攻击以最大化其预期收益(通常对应于减小受害者价值)的问题。我们证明攻击者可以通过规划或使用标准强化学习技术进行学习,以多项式时间或多项式样本复杂度确定最优攻击策略。我们认为受害者的最优防御策略可以通过解决随机 Stackelberg 博弈获得,该博弈可以简化为部分可观察的交替轮流随机博弈(POTBSG)。攻击者和受害者都不会从偏离各自最优策略中获益,因此这些解决方案具有真正的鲁棒性。虽然防御问题是 NP 困难的,但我们证明在许多情况下最优马尔可夫防御策略可以在多项式时间(样本复杂度)内计算(学习)。
Nov, 2023
通过正式验证的视角,我们对敌对输入的特征进行了全面分析,提出了一种新的指标 —— 敌对率,用于划分模型对此类扰动的敏感性,并提供了计算该指标的一系列工具和算法。我们的分析在实证上展示了敌对输入如何影响给定深度强化学习系统在敏感性方面的安全性,并分析了这些配置的行为,提出了一些有用的实践和指导方针,以帮助减轻训练深度强化学习网络的脆弱性。
Feb, 2024
本文根据系统状态不确定性和攻防动态的特征,提出了一个数据驱动的 DRL 框架,学习上下文感知的防御措施,以动态适应不断变化的对抗行为,同时最大程度减少对网络系统运营的影响,在多阶段攻击和系统不确定性下,DRL 算法在积极的网络防御中具有很好的效果。
Feb, 2023
本文研究发现,基于深度强化学习的分类器同样存在容易受到篡改输入的对抗样本攻击,这导致了针对基于 DQNs 的策略诱导式攻击的出现。同时,我们验证了对抗性样本的可迁移性,提出了一种利用这种可迁移性的攻击机制,并通过对游戏学习场景的实验研究证明了其功效和影响。
Jan, 2017