May, 2022

关于在观测扰动下安全强化学习的鲁棒性

HTML
PDF
TL;DR本文研究了安全强化学习中观测对抗攻击的安全性和鲁棒性，并提出了两种新方法以最大化代价或奖励来攻击目标，同时提出了一种鲁棒性训练框架。
发现论文，激发创造
  • 对抗性损失下的鲁棒深度强化学习

    该研究提出了RADIAL-RL框架，以提高深度强化学习代理的鲁棒性，经实验表明，RADIAL-RL代理在对抗攻击下的性能表现出色，同时提出了一种新的评估方法，称为Greedy Worst-Case Reward (GWC)。

    Aug, 2020

  • 基于学习得到的优化对手的状态观测下鲁棒强化学习

    研究了强化学习在面对敌对攻击(即使状态的扰动)时的鲁棒性，并提出了一种基于ATLA框架的方法来增强Agent的鲁棒性，通过训练online的对抗学习可以达到最优敌对攻击框架与提前学习历史数据等手段，从而提高强化学习在实验中的表现。

    Jan, 2021

  • 可验证强化学习的策略平滑算法

    本文针对强化学习中的深度神经网络，提出了一种能够直接认证总奖励且无需在每一时间步骤都保持鲁棒性的有效方法，其中使用了采样平滑和基于样条插值的鲁棒性证明。

    Jun, 2021

  • 通过词典目标实现强化学习的观察稳健性和不变性

    本文研究了部分可观测马尔可夫决策问题中的策略鲁棒性，并提出了一种能够兼顾奖励性能和稳健性的方案，能够应用于任何策略梯度算法，并且保持原动态规划算法的收敛性。经过对安全关键RL环境的数值实验表明，本文提出的方法能够在引入策略滚动中的状态误差时实现高强度鲁棒性。

    Sep, 2022

  • 最坏情况感知鲁棒强化学习：高效无攻击对抗训练

    本文提出了一种强大且高效的深度强化学习鲁棒训练框架WocaR-RL，通过直接估计和优化有界l_p攻击下策略的最坏情况奖励，而不需要额外的学习攻击者样本，能够在多个环境下实现最先进的性能，并获得比先前最先进的强化训练方法更高的训练效率。

    Oct, 2022

  • 基于遗憾的优化方法用于强化学习的鲁棒性

    该论文提出一种更为积极的方法改进深度强化学习中的强健性，采用最小化最大后悔作为优化方法，并证明该方法可显著提高性能。

    Feb, 2023

  • 超越最坏情况攻击：非劣政策下的自适应防御强化学习

    基于强化学习在现实世界中的蓬勃发展，我们研究了在状态对抗攻击模型下的策略稳健性，并致力于在有限策略类中找到既稳健又高效的近最优解，通过迭代发现非支配策略形成一个最小的近最优解，从而确保在不同攻击场景下的适应性。

    Feb, 2024

  • 安全和稳健的强化学习：原理和实践

    通过综述方法与开放问题对最近几年来RL的安全和稳健性的相关研究工作进行总结，本文主要关注RL系统在现实场景中的安全性和稳健性挑战，探讨了算法、伦理和实践考虑等方面的主要维度以及如何增强RL代理的安全性和稳健性，同时讨论了环境因素和人的参与等影响因素，最后提出了一个实用的检查清单，以帮助从业者在各个应用领域负责任地部署RL系统。

    Mar, 2024

  • 走向强壮的策略：通过对抗攻击和防守增强离线强化学习

    该研究提出了一个框架，通过利用先进的对抗攻击和防御来提高离线强化学习模型的稳健性，并以D4RL基准进行了评估，结果显示了演员和评论家对攻击的脆弱性以及防御策略在提高策略稳健性方面的有效性，为提高实际场景中离线强化学习模型的可靠性提供了希望。

    May, 2024

  • 通过软约束对抗者实现稳健的离线强化学习

    本研究针对当前离线强化学习算法在面对长期关系下对抗者的相互依赖性和基于$L_p$范数的扰动假设的局限性，提出了新的视角：基于已知分布的f散度约束问题。通过该方法，我们推导出了两种典型攻击及其相应的稳健学习框架，实验结果表明所提方法在样本效率上表现优异。

    Aug, 2024