最坏情况感知鲁棒强化学习：高效无攻击对抗训练

Oct, 2022

最坏情况感知鲁棒强化学习：高效无攻击对抗训练

Efficient Adversarial Training without Attacking: Worst-Case-Aware Robust Reinforcement Learning

Yongyuan Liang, Yanchao Sun, Ruijie Zheng, Furong Huang

TL;DR本文提出了一种强大且高效的深度强化学习鲁棒训练框架 WocaR-RL，通过直接估计和优化有界 l_p 攻击下策略的最坏情况奖励，而不需要额外的学习攻击者样本，能够在多个环境下实现最先进的性能，并获得比先前最先进的强化训练方法更高的训练效率。

Abstract

Recent studies reveal that a well-trained deep reinforcement learning (RL) policy can be particularly vulnerable to adversarial perturbations on input observations. Therefore, it is crucial to train RL agents tha

deep reinforcement learning adversarial perturbations robust training bounded budget worst-case-aware robust rl

发现论文，激发创造

超越最坏情况攻击：非劣政策下的自适应防御强化学习

基于强化学习在现实世界中的蓬勃发展，我们研究了在状态对抗攻击模型下的策略稳健性，并致力于在有限策略类中找到既稳健又高效的近最优解，通过迭代发现非支配策略形成一个最小的近最优解，从而确保在不同攻击场景下的适应性。

Feb, 2024

对抗性损失下的鲁棒深度强化学习

该研究提出了 RADIAL-RL 框架，以提高深度强化学习代理的鲁棒性，经实验表明，RADIAL-RL 代理在对抗攻击下的性能表现出色，同时提出了一种新的评估方法，称为 Greedy Worst-Case Reward (GWC)。

Aug, 2020

强韧性对抗性强化学习

提出了一种稳健性的敌对训练 (robust adversarial reinforcement learning, RARL) 方法，该方法将敌对训练与零和极小优化相结合，通过训练一个智能体，使其能够在真实系统上的杂乱因素和不确定性下操作，并在多种环境中进行了验证。

Mar, 2017

风险厌恶稳健对抗强化学习

本文提出了一种风险规避的强化学习算法，通过引入风险规避主角和风险趋避对手的方式，使用价值函数方差来建模风险，避免极端不良事件的发生，该算法在自动驾驶控制器上的实验中证明具有较高的鲁棒性。

Mar, 2019

具有对抗攻击的强化学习做法

本文提出了针对强化学习的对抗攻击，并通过这些攻击提高了深度强化学习算法对参数不确定性的鲁棒性。我们展示了即使是一个简单的攻击也能成功降低深度强化学习算法的性能，并进一步使用工程丢失函数的梯度信息改进了攻击方法，导致性能进一步降低。这些攻击方法被用于训练中，以改善 RL 控制框架的鲁棒性。我们展示了在 Cart-pole，Mountain Car，Hopper 和 Half Cheetah 等 RL 基准测试环境中，对 DRL 算法进行对抗训练可以显著提高其对参数变化的鲁棒性。

Dec, 2017

基于学习得到的优化对手的状态观测下鲁棒强化学习

研究了强化学习在面对敌对攻击 (即使状态的扰动) 时的鲁棒性，并提出了一种基于 ATLA 框架的方法来增强 Agent 的鲁棒性，通过训练 online 的对抗学习可以达到最优敌对攻击框架与提前学习历史数据等手段，从而提高强化学习在实验中的表现。

Jan, 2021

使用对抗种群的鲁棒强化学习

利用强化学习中的对抗噪音和以聚集对手人口作为训练方法，改善了机器人领域中强化学习中的鲁棒性和泛化性能。

Aug, 2020

谁是最强的敌人？走向深度强化学习中最优和高效的规避攻击

本文提出了一种协作攻击方法 PA-AD，它通过将一个动态规划算法模型和一个强化学习模型进行合作，能够更加高效地找到最强的对策，实现在多个任务中求得强化学习代理的鲁棒性。

Jun, 2021

走向强壮的策略：通过对抗攻击和防守增强离线强化学习

该研究提出了一个框架，通过利用先进的对抗攻击和防御来提高离线强化学习模型的稳健性，并以 D4RL 基准进行了评估，结果显示了演员和评论家对攻击的脆弱性以及防御策略在提高策略稳健性方面的有效性，为提高实际场景中离线强化学习模型的可靠性提供了希望。

May, 2024

深度强化学习：不死之身的秘诀

本文调查了深度强化学习网络在训练时间和测试时间的对抗攻击中的鲁棒性，结果显示在非连续的训练时间攻击中，通过调整策略，Deep Q-Network (DQN) 代理能够恢复和适应对抗条件，相比较 ε- 贪婪和参数空间噪声探索方法，本文还对鲁棒性和抗干扰性进行了比较。

Dec, 2017