我们提出了一种新方法 BadRL，它通过在训练和测试期间针对高攻击值的状态进行高度稀疏的后门毒化，从而有效地降低了被检测的几率，并且可以动态生成不同的触发模式来增强攻击的有效性。实验证明，BadRL 在多个典型强化学习任务中能够在训练期间以极小的毒化操作（占总训练步骤的 0.003%）显著降低受害智能体的性能，并在测试期间进行不频繁的攻击。

Dec, 2023

本文提出了一种针对在线深度增强学习的黑盒定向攻击方法，通过在训练时进行奖励污染，攻击突破了未知环境和未知算法的限制，并且攻击成本较低。作者通过实验验证，在不同的环境和学习器中，攻击可以高效地导致学习代理到达各种目标策略。

May, 2023

本研究探讨了加强学习中的一种安全威胁，其中攻击者污染学习环境以强制代理执行攻击者选择的目标策略，提出了一个寻找不同攻击成本度量的 “最优隐蔽攻击” 的优化框架，并在两种环境（离线和在线）中实例化了攻击，揭示加强学习算法面临的重大安全威胁。

Mar, 2020

研究发现存在一种针对强化学习的安全威胁，攻击者通过毒化学习环境的奖励和转移概率来强制执行特定的策略，提出了一种攻击代价度量的最优化框架，并在离线和在线两种情况下验证了攻击者可以通过一个优雅的攻击在很宽松的条件下让受害者代理执行任意策略，这表明强化学习代理在实践应用中存在很大的安全威胁。

Nov, 2020

研究黑盒奖励污染攻击，设计了一种名为 U2 的新型黑盒攻击来操纵奖励以误导不知道先前知识的 RL 代理，进而学习一种恶意策略，可在最具挑战性的黑盒设置中实现接近最先进白盒攻击的性能。

Feb, 2021

本文探讨了将后门攻击技术应用于多智能体强化学习系统中的可能性，并证明了在两个竞技型强化学习系统中，头部代理可以通过其自身动作触发受害代理的后门，并且当后门被激活时，受害者的获胜率下降了 17% 至 37%。

May, 2021

该研究论文调查了一种在分散式增强学习场景中的合作后门攻击方法，通过将后门行为分解为多个组件并将其隐藏在恶意代理的策略中，并与良性代理共享策略，成功地向良性代理的增强学习策略中注入了后门攻击。与现有的后门攻击相比，该合作方法更加隐蔽，因为每个攻击者的策略只包含后门攻击的一个组件，难以检测。通过基于 Atari 环境的广泛模拟实验证明了该方法的效率和隐蔽性。据我们所知，这是首次提出在分散式增强学习中的可证明的合作后门攻击的论文。

May, 2024

我们研究了利用深度神经网络进行函数逼近的一般离线强化学习中奖励污染攻击问题。我们提出了一种名为 `策略对比攻击` 的攻击策略，通过使一些低性能策略看起来像高性能策略，同时使高性能策略看起来像低性能策略来进行攻击。据我们所知，这是首个在一般离线强化学习环境中提出的黑盒奖励污染攻击。我们在攻击设计上提供了理论洞察，并通过在不同类型的学习数据集上实证表明我们的攻击对当前最先进的离线强化学习算法有效。

Feb, 2024

本研究考察了有关毒化攻击的 Reinforcement Learning 算法（强化学习算法）的安全威胁，发现了在有界奖励和无界奖励环境下，通过奖励毒化和行为毒化的组合可以实现对任何目标策略的操作，而在无界奖励环境下则只需要进行奖励毒化攻击就足以将任何高阶最优学习算法转化为任何目标策略，而不需要知道 MDP 的潜在特性，这些研究结果为设计强健性 RL 算法提供了有用的启示。

Aug, 2022

该研究提出了一种新的威胁模型，即窃听威胁模型，它是针对强化学习的。通过训练代理模型，并利用敌对性示例的可转移性，敌对方在高度受限的威胁模型中仍然可以对目标代理发动毁灭性攻击。

May, 2019