Jul, 2020

基于反证法的强化学习鲁棒性敌对攻击

PDF
TL;DR本文提出了基于 Falsification 的 Robust Adversarial Reinforcement Learning (FRARL) 框架，将时序逻辑 Falsification 整合到 Adversarial Learning 中以提高策略的鲁棒性，实验结果表明，采用该框架训练的智能体比其他方法更具有通用性和遵守安全规则的能力。
reinforcement learningrobust adversarial rltemporal logic falsificationpolicy robustnessautonomous vehicles
发现论文，激发创造
  • 强韧性对抗性强化学习

    提出了一种稳健性的敌对训练 (robust adversarial reinforcement learning, RARL) 方法，该方法将敌对训练与零和极小优化相结合，通过训练一个智能体，使其能够在真实系统上的杂乱因素和不确定性下操作，并在多种环境中进行了验证。

    Mar, 2017

  • 风险厌恶稳健对抗强化学习

    本文提出了一种风险规避的强化学习算法，通过引入风险规避主角和风险趋避对手的方式，使用价值函数方差来建模风险，避免极端不良事件的发生，该算法在自动驾驶控制器上的实验中证明具有较高的鲁棒性。

    Mar, 2019

  • 有界理性曲线下的鲁棒对抗强化学习

    基于熵正则化的量子对抗增强学习 (QARL) 是一种新方法，通过渐进式增加对手的理性来简化优化问题的复杂性，从而提高稳健性以及在多个 MuJoCo 运动和导航问题上的整体性能。

    Nov, 2023

  • 通过适应性规则对抗训练实现史塔克伯格博弈的坚韧强化学习

    本文介绍了一种用于强化学习的 Stackelberg 游戏模型 ——RRL-Stack，旨在提供额外的鲁棒性训练和解决目前 RL 训练中存在的过度保守智能及训练不稳定等问题，并提出了一种基于 Stackelberg Policy Gradient 算法的解决方案，在单一和多智能体任务中展现更好的训练稳定性和鲁棒性。

    Feb, 2022

  • 通过对抗强化学习提高自动驾驶车辆控制的稳健性和安全性

    该研究比较了 Robust Adversarial Reinforcement Learning 和 Neural Fictitious Self Play 算法在自动驾驶场景下的性能表现，将学习问题定义为自主系统与环境干扰之间的两人博弈，扩展为半竞争的情况，结果表明对手更好地捕捉了有意义的干扰，从而产生了更好的驾驶效率和减少了与传统强化学习方法相比的碰撞率。

    Mar, 2019

  • 对成本信号进行对抗操纵的欺骗性强化学习

    本文研究了恶意篡改成本信号下的强化学习，并介绍了攻击模型的量化框架，该模型有助于了解强化学习的漏洞。通过对 Q-learning 的研究，我们证明了 Q-learning 算法在隐蔽攻击和成本信号有限篡改下仍然能够收敛。通过解析篡改代价与 Q 因素及学习代理所学习的策略之间的关系，我们提供了可行的攻击和防御策略的基本限制。我们提出了一种鲁棒的代价区间，即在该区间内对手永远无法实现目标策略。我们给出了一些关于篡改代价的条件，它们能够误导代理学习对手所偏爱的策略。最后，通过一个水库控制的数值案例研究，我们展示了学习型控制系统中强化学习的潜在危险并证实了我们的研究结果。

    Jun, 2019

  • 可行的针对不完全规定环境的对抗鲁棒强化学习

    本文提出了可行的对抗性强化学习 (FARR) 方法来自动确定环境参数的范围，通过将该问题作为二人零和博弈，最优化 FARR 目标可以在可行支持上产生对抗性分布和策略鲁棒，在参数化的网格世界和三个 MuJoCo 控制环境中证明，使用 FARR 训练的优化代理相对于现有的极小化、域随机化和后悔目标在可行对抗参数选择上更具鲁棒性。

    Jul, 2022

  • 使用对抗训练提高强化学习在电力系统控制中的鲁棒性

    本文针对电网控制系统的弱点进行研究，发现现有的强化学习算法存在敏感性，容易受到恶意攻击，提出了一种基于对抗训练的解决方案，以增强算法的安全性和鲁棒性。

    Oct, 2021

  • 通过对抗逆强化学习学习鲁棒奖励

    本文提出了一种新颖的反向强化学习算法，基于对抗奖励学习框架，该算法能够实现自动奖励学习并在大规模高维问题中具有很强的适用性和可扩展性，提高了强化学习的性能和应用范围。

    Oct, 2017

  • 使用对抗种群的鲁棒强化学习

    利用强化学习中的对抗噪音和以聚集对手人口作为训练方法，改善了机器人领域中强化学习中的鲁棒性和泛化性能。

    Aug, 2020