基于漏洞感知的在线 RL 中的毒化机制及未知动态

Sep, 2020

基于漏洞感知的在线 RL 中的毒化机制及未知动态

Vulnerability-Aware Poisoning Mechanism for Online RL with Unknown Dynamics

Yanchao Sun, Da Huo, Furong Huang

TL;DR通过对异构攻击模型进行全面研究，本文建立了一个通用的强化学习在线毒化框架。在没有任何先验知识的情况下，我们提出了一种名为 VA2C-P 的策略毒化算法，通过度量 RL 的稳定半径来实现漏洞感知，成功防止了代理学习良好策略并教会代理方案收敛于目标方案.

Abstract

poisoning attacks on reinforcement learning (RL) systems could take advantage of RL algorithm's vulnerabilities and cause failure of the learning. However, prior works on poisoning RL usually either unrealistical

poisoning attacks reinforcement learning policy-based deep rl agents adversarial critic poison stability radius

发现论文，激发创造

两个智能体强化学习中的隐式毒化攻击：对训练时间攻击的敌对策略

在两个代理环境中，研究了攻击者通过修改同伴的策略来隐性毒化其中一个代理器的有效环境的针对性中毒攻击，并提出了一个优化框架，用于设计最优攻击。通过实验展示了算法的有效性。

Feb, 2023

在线深度强化学习黑盒目标化奖励中毒攻击

本文提出了一种针对在线深度增强学习的黑盒定向攻击方法，通过在训练时进行奖励污染，攻击突破了未知环境和未知算法的限制，并且攻击成本较低。作者通过实验验证，在不同的环境和学习器中，攻击可以高效地导致学习代理到达各种目标策略。

May, 2023

离线强化学习中的奖励污染攻击

我们研究了利用深度神经网络进行函数逼近的一般离线强化学习中奖励污染攻击问题。我们提出了一种名为 `策略对比攻击` 的攻击策略，通过使一些低性能策略看起来像高性能策略，同时使高性能策略看起来像低性能策略来进行攻击。据我们所知，这是首个在一般离线强化学习环境中提出的黑盒奖励污染攻击。我们在攻击设计上提供了理论洞察，并通过在不同类型的学习数据集上实证表明我们的攻击对当前最先进的离线强化学习算法有效。

Feb, 2024

环境毒化的策略教学：针对强化学习的训练时对抗性攻击

本研究探讨了加强学习中的一种安全威胁，其中攻击者污染学习环境以强制代理执行攻击者选择的目标策略，提出了一个寻找不同攻击成本度量的 “最优隐蔽攻击” 的优化框架，并在两种环境（离线和在线）中实例化了攻击，揭示加强学习算法面临的重大安全威胁。

Mar, 2020

强化学习中的政策教学：基于环境污染攻击

研究发现存在一种针对强化学习的安全威胁，攻击者通过毒化学习环境的奖励和转移概率来强制执行特定的策略，提出了一种攻击代价度量的最优化框架，并在离线和在线两种情况下验证了攻击者可以通过一个优雅的攻击在很宽松的条件下让受害者代理执行任意策略，这表明强化学习代理在实践应用中存在很大的安全威胁。

Nov, 2020

强化学习环境污染攻击的政策韧性

本文提出了一种基于知识共享的策略韧性机制，通过联邦体系结构和元学习方式设计实现，使受污染策略能够更快速地诊断和恢复其策略性能，经实验证明其对于模型有无 RL 算法恢复被污染策略的部署性能有较高的效率和有效性。

Apr, 2023

理解情节强化学习中中毒攻击的限制

本研究考察了有关毒化攻击的 Reinforcement Learning 算法（强化学习算法）的安全威胁，发现了在有界奖励和无界奖励环境下，通过奖励毒化和行为毒化的组合可以实现对任何目标策略的操作，而在无界奖励环境下则只需要进行奖励毒化攻击就足以将任何高阶最优学习算法转化为任何目标策略，而不需要知道 MDP 的潜在特性，这些研究结果为设计强健性 RL 算法提供了有用的启示。

Aug, 2022

SleeperNets: 强化学习代理的通用背门毒化攻击

该研究探讨了反馈学习中的背门污染攻击，发现前期工作无法横跨领域和 Markov 决策过程进行泛化，所以提出了一种新的攻击框架并开发了 SleeperNets，以提高攻击成功率，并同时保持良性回报。

May, 2024

强化学习中的奖励污染：对未知环境中的未知学习者的攻击

研究黑盒奖励污染攻击，设计了一种名为 U2 的新型黑盒攻击来操纵奖励以误导不知道先前知识的 RL 代理，进而学习一种恶意策略，可在最具挑战性的黑盒设置中实现接近最先进白盒攻击的性能。

Feb, 2021

离线多智能体强化学习中的奖励污染攻击

本研究探讨了多智能体强化学习中的奖励毒化攻击，并展示了攻击者可以安装目标策略作为马尔科夫完美主导策略均衡，从而使得理性代理人会跟随攻击者所预期的策略走向。该攻击可以更便捷地实施，也适用于多种不同结构的数据集和 MARL 代理算法，我们同时还研究了数据集结构和攻击代价之间的关系与防御方法。

Jun, 2022