IJCAIMar, 2017

深度强化学习智能体的对抗攻击策略

PDF
TL;DR研究了使用对抗性样本攻击深度强化学习算法的两种策略，即战略定时攻击和诱人攻击，并在 DQN 和 A3C 等深度强化学习算法上应用这两种策略，结果显示，战略定时攻击只攻击少量时间步骤时，能够显著减少代理的奖励，而诱人攻击成功地将代理引向指定的目标状态。
发现论文，激发创造
  • 针对深度强化学习的隐蔽高效敌对攻击

    探索针对深度强化学习的对抗攻击，并提出两种攻击技术：关键点攻击和拮抗攻击，以提高鲁棒性，实验结果显示这两种技术比现有方法更具优势。

    May, 2020

  • 深度增强学习的深度攻击

    通过强化学习实现攻击，在考虑攻击效果和匿名性的前提下，使用新的攻击性能指标对此方法进行评估，初步实验结果表明了该方法的有效性、鲁棒性和可转移性。

    May, 2022

  • 深度强化学习中的奖励延迟攻击

    这篇论文探讨了一种新型攻击方法，利用强同步假设漏洞，将奖励信息延迟一段时间以影响强化学习中的 Q-learning 算法，攻击模式可分为有目标攻击和无目标攻击，同时提出了一种威胁模型以抵抗奖励信息的顺序被篡改的攻击。

    Sep, 2022

  • 深度强化学习攻击特征分析

    本研究主要研究深度强化学习模型的脆弱性，针对相应的攻击方式进行了探究，并提出了黑盒攻击、在线顺序攻击等攻击方法来应对其高计算需求，同时探讨了攻击者扰动环境动态的可能性，并通过实验验证了这些攻击方式的有效性。

    Jul, 2019

  • 强化学习的最优攻击与防御

    为确保强化学习在真实系统中的可用性，需要保证其对噪声和对抗性攻击具有鲁棒性。本文研究在线操纵攻击的全类攻击形式，包括状态攻击、观察攻击、行动攻击和奖励攻击。我们通过马尔可夫决策过程（MDP）对隐藏在攻击交互中的元级环境进行建模，并展示了该攻击者设计隐蔽攻击以最大化其预期收益（通常对应于减小受害者价值）的问题。我们证明攻击者可以通过规划或使用标准强化学习技术进行学习，以多项式时间或多项式样本复杂度确定最优攻击策略。我们认为受害者的最优防御策略可以通过解决随机 Stackelberg 博弈获得，该博弈可以简化为部分可观察的交替轮流随机博弈（POTBSG）。攻击者和受害者都不会从偏离各自最优策略中获益，因此这些解决方案具有真正的鲁棒性。虽然防御问题是 NP 困难的，但我们证明在许多情况下最优马尔可夫防御策略可以在多项式时间（样本复杂度）内计算（学习）。

    Nov, 2023

  • 对抗策略：攻击深度强化学习

    在零和游戏的模拟人形机器人中，使用拥有不良意图的对手智能体可以生成表面上看似随机无序的行为，以攻击通过自我对弈训练而具有抵抗敌方攻击鲁棒性的最新受害者，尤其在高维度环境中更加有效，且可以诱导受害策略网络的不同反应。

    May, 2019

  • 环境毒化的策略教学：针对强化学习的训练时对抗性攻击

    本研究探讨了加强学习中的一种安全威胁，其中攻击者污染学习环境以强制代理执行攻击者选择的目标策略，提出了一个寻找不同攻击成本度量的 “最优隐蔽攻击” 的优化框架，并在两种环境（离线和在线）中实例化了攻击，揭示加强学习算法面临的重大安全威胁。

    Mar, 2020

  • 在线多智能体强化学习的高效对抗攻击

    本文研究了敌对攻击对多智能体强化学习模型的影响，针对可改变奖励和可操纵动作的两类敌对攻击方式进行了限制，并引入一种混合攻击策略，证明了该攻击策略可以有效地攻击多智能体强化学习代理。

    Jul, 2023

  • 神经网络策略的对抗性攻击

    本研究研究了针对神经网络策略的对抗攻击，发现现有的对抗样本制作技术能够很好地降低训练策略的测试时间性能，并且一些小干扰就能引起显著性能下降。

    Feb, 2017

  • 行动 66 号：面向强化学习的有针对性数据毒化

    该研究提出了一种针对强化学习的隐匿性数据污染攻击，使用最新的梯度对齐技术，仅对少量的训练数据进行最小限度的修改，而不需要对策略或奖励进行任何控制，目的在于仅在特定目标状态下导致智能体总体表现不佳，在两个难度不同的 Atari 游戏中进行了实验并取得了成功。

    Jan, 2022