针对状态观测的鲁棒深度强化学习对抗扰动

Mar, 2020

针对状态观测的鲁棒深度强化学习对抗扰动

Robust Deep Reinforcement Learning against Adversarial Perturbations on State Observations

Huan Zhang, Hongge Chen, Chaowei Xiao, Bo Li, Mingyan Liu...

TL;DR通过提出状态对抗马尔可夫决策过程 (SA-MDP) 的理论框架和一种新的策略正则化方法，并在多个强白盒对抗攻击中测试，我们成功地提高了一系列深层强化学习算法在离散和连续动作控制问题上的鲁棒性。

Abstract

A deep reinforcement learning (DRL) agent observes its states through observations, which may contain natural measurement errors or adversarial noises. Since the observations deviate from the true states, they can mislead the agent into making suboptimal actions. Several works have sho

deep reinforcement learning adversarial attacks robustness policy regularization sa-mdp

发现论文，激发创造

基于学习得到的优化对手的状态观测下鲁棒强化学习

研究了强化学习在面对敌对攻击 (即使状态的扰动) 时的鲁棒性，并提出了一种基于 ATLA 框架的方法来增强 Agent 的鲁棒性，通过训练 online 的对抗学习可以达到最优敌对攻击框架与提前学习历史数据等手段，从而提高强化学习在实验中的表现。

Jan, 2021

富有信念的悲观 Q 学习用于对抗敌对状态扰动

我们提出了一种新的强化学习 (RL) 算法，通过得到一种悲观策略来保护代理对真实状态的不确定性，并结合置信状态推理和基于扩散的状态净化来降低不确定性，实验证明我们的方法在面对强攻击时具有出色的性能并且与基于正则化方法具有相当的训练开销。

Mar, 2024

强化学习的最优攻击与防御

为确保强化学习在真实系统中的可用性，需要保证其对噪声和对抗性攻击具有鲁棒性。本文研究在线操纵攻击的全类攻击形式，包括状态攻击、观察攻击、行动攻击和奖励攻击。我们通过马尔可夫决策过程（MDP）对隐藏在攻击交互中的元级环境进行建模，并展示了该攻击者设计隐蔽攻击以最大化其预期收益（通常对应于减小受害者价值）的问题。我们证明攻击者可以通过规划或使用标准强化学习技术进行学习，以多项式时间或多项式样本复杂度确定最优攻击策略。我们认为受害者的最优防御策略可以通过解决随机 Stackelberg 博弈获得，该博弈可以简化为部分可观察的交替轮流随机博弈（POTBSG）。攻击者和受害者都不会从偏离各自最优策略中获益，因此这些解决方案具有真正的鲁棒性。虽然防御问题是 NP 困难的，但我们证明在许多情况下最优马尔可夫防御策略可以在多项式时间（样本复杂度）内计算（学习）。

Nov, 2023

基于分布鲁棒的强化学习基础探讨

鉴于训练和部署之间环境变化的需求，我们对分布稳健强化学习（DRRL）的理论基础做出贡献。通过一个以分布稳健马尔可夫决策过程（DRMDPs）为核心的综合建模框架，我们严谨地构建了适用于决策者和对手的各种建模属性。此外，我们还研究了对手引起的偏移的灵活性，并检验了动态规划原理的存在条件。从算法的角度来看，动态规划原理的存在具有重要意义，因为大多数现有的数据和计算效率强化学习算法依赖于该原理。我们提供了从统一方法论出发的简化证明以及不存在全面广义动态规划原理的场景的反例。

Nov, 2023

在深度强化学习中检测对抗方向以作出鲁棒决策

这篇文章提出了一种检测存在非鲁棒方向的新方法，基于深度神经网络策略损失的局部二次逼近，解决了在强化学习中高度复杂状态下存在的政策不稳定问题，并证明了其在对抗攻击环境中的有效性。

Jun, 2023

如何解决国家对抗性多智能体强化学习？

本文提出了一种新的状态对抗性马尔可夫博弈模型，基于最坏情况下预期状态价值最大的状态强化学习策略，尝试解决现有方法在状态不确定性下的一些问题，同时提出了一种新的鲁棒性算法 RMA3C，并证明了有限状态有限行动空间下稳健代理策略的存在性，实验结果显示出其对于状态扰动的鲁棒性更高。

Dec, 2022

通过动作空间对抗训练强化学习智能体的鲁棒性提升

研究了机器学习在具备恶意状态 / 执行机构攻击下的表现，介绍了深度强化学习在决策和控制任务中存在漏洞的问题，提出了通过对抗训练来提高深度强化学习代理的抗干扰性以实现系统的稳定性和鲁棒性。

Jul, 2020

具有对抗攻击的强化学习做法

本文提出了针对强化学习的对抗攻击，并通过这些攻击提高了深度强化学习算法对参数不确定性的鲁棒性。我们展示了即使是一个简单的攻击也能成功降低深度强化学习算法的性能，并进一步使用工程丢失函数的梯度信息改进了攻击方法，导致性能进一步降低。这些攻击方法被用于训练中，以改善 RL 控制框架的鲁棒性。我们展示了在 Cart-pole，Mountain Car，Hopper 和 Half Cheetah 等 RL 基准测试环境中，对 DRL 算法进行对抗训练可以显著提高其对参数变化的鲁棒性。

Dec, 2017

增强 QMIX 对抗状态攻击的鲁棒性

研究通过使用 QMIX 算法作为例子，讨论了四种方法来提高单智能体强化学习算法的鲁棒性，并将它们扩展到多智能体情景中，并使用各种攻击来训练模型，以增加多智能体强化学习算法的鲁棒性。

Jul, 2023

使用对抗训练提高强化学习在电力系统控制中的鲁棒性

本文针对电网控制系统的弱点进行研究，发现现有的强化学习算法存在敏感性，容易受到恶意攻击，提出了一种基于对抗训练的解决方案，以增强算法的安全性和鲁棒性。

Oct, 2021