May, 2021

BACKDOORL: 一种针对竞争性强化学习的后门攻击

PDF
TL;DR本文探讨了将后门攻击技术应用于多智能体强化学习系统中的可能性，并证明了在两个竞技型强化学习系统中，头部代理可以通过其自身动作触发受害代理的后门，并且当后门被激活时，受害者的获胜率下降了 17% 至 37%。
backdoor attacksdeep reinforcement learningmultiple agentscompetitive rl systemsadversary agent
发现论文，激发创造
  • 竞争性强化学习中的后门检测与缓解

    该论文提出了一种名为 PolicyCleanse 的方法来检测强化学习中的后门攻击，并设计了一种基于机器学习的方法来缓解检测出的后门攻击，实验证明该方法在各种类型的环境和智能体中优于现有后门缓解基线方法至少 3% 的胜率。

    Feb, 2022

  • 离线强化学习数据集中的后门隐藏

    本文提出了一种新的后门攻击方法 Baffle，通过实验发现当前所有离线强化学习算法都无法免疫这种攻击，并且我们插入的后门难以被广泛采用的防御方法检测出来，因此需要更有效的保护机制。

    Oct, 2022

  • BadRL：针对强化学习的稀疏目标后门攻击

    我们提出了一种新方法 BadRL，它通过在训练和测试期间针对高攻击值的状态进行高度稀疏的后门毒化，从而有效地降低了被检测的几率，并且可以动态生成不同的触发模式来增强攻击的有效性。实验证明，BadRL 在多个典型强化学习任务中能够在训练期间以极小的毒化操作（占总训练步骤的 0.003%）显著降低受害智能体的性能，并在测试期间进行不频繁的攻击。

    Dec, 2023

  • 分布式强化学习中的合作后门攻击与理论保证

    该研究论文调查了一种在分散式增强学习场景中的合作后门攻击方法，通过将后门行为分解为多个组件并将其隐藏在恶意代理的策略中，并与良性代理共享策略，成功地向良性代理的增强学习策略中注入了后门攻击。与现有的后门攻击相比，该合作方法更加隐蔽，因为每个攻击者的策略只包含后门攻击的一个组件，难以检测。通过基于 Atari 环境的广泛模拟实验证明了该方法的效率和隐蔽性。据我们所知，这是首次提出在分散式增强学习中的可证明的合作后门攻击的论文。

    May, 2024

  • 一种面向深度强化学习的时序模式后门攻击

    本文提出了一种基于时间模式的背门攻击方法，通过一系列的时间限制来控制背门行为的发动和持续时间，实现在云计算中调度任务过程中的达成攻击目的和保持攻击效果和隐秘性，实验结果表明，该背门攻击方法可以达到很高的攻击成功率和干扰效果。

    May, 2022

  • SleeperNets: 强化学习代理的通用背门毒化攻击

    该研究探讨了反馈学习中的背门污染攻击，发现前期工作无法横跨领域和 Markov 决策过程进行泛化，所以提出了一种新的攻击框架并开发了 SleeperNets，以提高攻击成功率，并同时保持良性回报。

    May, 2024

  • BadAgent：在 LLM 代理中插入和激活后门攻击

    利用大型语言模型构建智能代理存在潜在的后门攻击风险，即使在可信数据上进行微调也无法防御，这可能是第一项关于带有外部工具权限的大型语言模型代理的研究。

    Jun, 2024

  • 可证明的强化学习后门政策防御

    该研究提出了一种基于子空间触发假设的强化学习背门策略的可证明防御机制，该机制通过将观察到的状态投射到一个安全子空间来消毒被污染的策略，从而实现了近似最优性。

    Nov, 2022

  • 警惕您的代理人！调查针对基于 LLM 的代理人的后门威胁

    借助大型语言模型（LLMs）的快速发展，已经开发出了基于 LLM 的代理程序，用于处理各种实际应用，包括金融、医疗和购物等。然而，目前 LLM-based 代理的安全问题尚未得到充分研究。本研究首先调查了一种典型的安全威胁，即 backdoor 攻击，对 LLM-based 代理进行了初步研究，并提出了相应的数据污染机制来实施代理程序的 backdoor 攻击。广泛的实验结果显示，LLM-based 代理严重受到 backdoor 攻击的影响，表明迫切需要进一步研究防御 LLM-based 代理的 backdoor 攻击。

    Feb, 2024

  • 深度强化学习攻击特征分析

    本研究主要研究深度强化学习模型的脆弱性，针对相应的攻击方式进行了探究，并提出了黑盒攻击、在线顺序攻击等攻击方法来应对其高计算需求，同时探讨了攻击者扰动环境动态的可能性，并通过实验验证了这些攻击方式的有效性。

    Jul, 2019