深度强化学习中的奖励延迟攻击

Sep, 2022

Reward Delay Attacks on Deep Reinforcement Learning

Anindya Sarkar, Jiarui Feng, Yevgeniy Vorobeychik, Christopher Gill, Ning Zhang

TL;DR这篇论文探讨了一种新型攻击方法，利用强同步假设漏洞，将奖励信息延迟一段时间以影响强化学习中的 Q-learning 算法，攻击模式可分为有目标攻击和无目标攻击，同时提出了一种威胁模型以抵抗奖励信息的顺序被篡改的攻击。

Abstract

Most reinforcement learning algorithms implicitly assume strong synchrony. We present novel attacks targeting q-learning that exploit a vu

reinforcement learning q-learning attacks reward delay threat model

发现论文，激发创造

深度增强学习的深度攻击

通过强化学习实现攻击，在考虑攻击效果和匿名性的前提下，使用新的攻击性能指标对此方法进行评估，初步实验结果表明了该方法的有效性、鲁棒性和可转移性。

May, 2022

深度强化学习智能体的对抗攻击策略

研究了使用对抗性样本攻击深度强化学习算法的两种策略，即战略定时攻击和诱人攻击，并在 DQN 和 A3C 等深度强化学习算法上应用这两种策略，结果显示，战略定时攻击只攻击少量时间步骤时，能够显著减少代理的奖励，而诱人攻击成功地将代理引向指定的目标状态。

Mar, 2017

在线深度强化学习黑盒目标化奖励中毒攻击

本文提出了一种针对在线深度增强学习的黑盒定向攻击方法，通过在训练时进行奖励污染，攻击突破了未知环境和未知算法的限制，并且攻击成本较低。作者通过实验验证，在不同的环境和学习器中，攻击可以高效地导致学习代理到达各种目标策略。

May, 2023

离线强化学习中的奖励污染攻击

我们研究了利用深度神经网络进行函数逼近的一般离线强化学习中奖励污染攻击问题。我们提出了一种名为 `策略对比攻击` 的攻击策略，通过使一些低性能策略看起来像高性能策略，同时使高性能策略看起来像低性能策略来进行攻击。据我们所知，这是首个在一般离线强化学习环境中提出的黑盒奖励污染攻击。我们在攻击设计上提供了理论洞察，并通过在不同类型的学习数据集上实证表明我们的攻击对当前最先进的离线强化学习算法有效。

Feb, 2024

强化学习中防御奖励中毒攻击

本文提出了防御策略，针对强化学习中的奖励污染攻击，并使用优化框架和性能保证来设计对抗策略。

Feb, 2021

行动 66 号：面向强化学习的有针对性数据毒化

该研究提出了一种针对强化学习的隐匿性数据污染攻击，使用最新的梯度对齐技术，仅对少量的训练数据进行最小限度的修改，而不需要对策略或奖励进行任何控制，目的在于仅在特定目标状态下导致智能体总体表现不佳，在两个难度不同的 Atari 游戏中进行了实验并取得了成功。

Jan, 2022

深度强化学习攻击特征分析

本研究主要研究深度强化学习模型的脆弱性，针对相应的攻击方式进行了探究，并提出了黑盒攻击、在线顺序攻击等攻击方法来应对其高计算需求，同时探讨了攻击者扰动环境动态的可能性，并通过实验验证了这些攻击方式的有效性。

Jul, 2019

强化学习中的奖励污染：对未知环境中的未知学习者的攻击

研究黑盒奖励污染攻击，设计了一种名为 U2 的新型黑盒攻击来操纵奖励以误导不知道先前知识的 RL 代理，进而学习一种恶意策略，可在最具挑战性的黑盒设置中实现接近最先进白盒攻击的性能。

Feb, 2021

深度强化学习：不死之身的秘诀

本文调查了深度强化学习网络在训练时间和测试时间的对抗攻击中的鲁棒性，结果显示在非连续的训练时间攻击中，通过调整策略，Deep Q-Network (DQN) 代理能够恢复和适应对抗条件，相比较 ε- 贪婪和参数空间噪声探索方法，本文还对鲁棒性和抗干扰性进行了比较。

Dec, 2017

针对受攻击方策略访问有限的强化学习的行为目标攻击

研究考虑攻击强化学习代理，其中对手通过对受害者的状态观察添加敌对修改来控制受害者的行为，提出了一种在黑盒和无盒设置中操纵受害者代理的新方法，无需特定环境启发式，并通过分布匹配问题解决现有的模仿学习算法，实证评估表明该方法攻击性能优于基准方法。

Jun, 2024