Dec, 2023

通过$l_∞$利普希茨策略网络提高强化学习对观测扰动的鲁棒性

HTML
PDF
TL;DR我们提出了一种名为SortRL的新型鲁棒性强化学习方法，通过网络架构的角度改善DRL策略对观测扰动的鲁棒性，并设计了一个训练框架，解决给定任务同时保持对观测的鲁棒性。多个实验表明SortRL在不同扰动强度下实现了最先进的鲁棒性能。
发现论文，激发创造
  • 具有模型误差的连续控制强化学习

    提供了一个框架，可将稳健性合并到持续控制强化学习算法中，通过学习最优策略并推导相应的鲁棒性熵正则化贝尔曼收缩算子来实现，并进一步引入了较不保守的软稳健熵正则化目标及相应贝尔曼算子，实验证明在九个领域的环境扰动及高维度的机器人控制方面，稳健和软稳健策略均优于无鲁棒性策略，并提供了多个探究实验来深入理解框架的其它特性。

    Jun, 2019

  • 关于实用的强化学习：可证明的鲁棒性、可扩展性和统计效率

    本文旨在研究多种强化学习方法如鲁棒性RL，分布式RL 和离线RL，并为每个方法提供算法以及未来的相关研究方向。

    Mar, 2022

  • 强化学习的鲁棒性策略梯度方法

    开发了具有全局最优性保证和复杂度分析的政策梯度方法，用于处理模型不匹配下的鲁棒强化学习，提出了鲁棒策略梯度和平滑的鲁棒策略梯度方法，并将方法推广到广泛的非模型设置下，提供了仿真结果证明了方法的鲁棒性。

    May, 2022

  • RORL: 基于保守平滑的强化学习离线稳健性算法

    本文介绍了一种名为 Robust Offline Reinforcement Learning(RORL) 的保守平滑技术，用于解决当前离线 RL 算法在真实环境中遇到观测扰动时的鲁棒性问题，同时还能在性能和鲁棒性上实现权衡，并取得了非常好的表现。

    Jun, 2022

  • 通过词典目标实现强化学习的观察稳健性和不变性

    本文研究了部分可观测马尔可夫决策问题中的策略鲁棒性，并提出了一种能够兼顾奖励性能和稳健性的方案，能够应用于任何策略梯度算法，并且保持原动态规划算法的收敛性。经过对安全关键RL环境的数值实验表明，本文提出的方法能够在引入策略滚动中的状态误差时实现高强度鲁棒性。

    Sep, 2022

  • 实用鲁棒强化学习：邻域不确定性集和双代理算法

    介绍了一种新的不确定性集合并基于此提出了一种名为ARQ-Learning的鲁棒强化学习方法，同时还提出一种能高效解决ARQ-Learning在大规模或连续状态空间下的问题的技术，最终将其应用于各种存在模型不确定性的强化学习应用中。

    May, 2023

  • 具有概率策略执行不确定性的高效动作稳健强化学习

    本文探讨了具有概率性策略执行不确定性的抗干扰强化学习问题，并提出了 ARRLC 算法，该算法具有极小化最坏情况下收益损失和样本复杂性的性质，并在实验中验证了其在存在干扰情况下的稳健性。

    Jul, 2023

  • 低秩MDPs中的高效双重扰动鲁棒性

    通过对低秩马尔科夫决策过程的特征和因子向量引入双重扰动鲁棒性的全新方法，解决了目前强化学习研究中存在的效率问题，提供了在具有大规模甚至连续状态-动作空间的实际问题中应用的可靠MDP算法以及理论收敛性保证。

    Apr, 2024

  • 基于利普希茨有界策略网络的强化学习的鲁棒性

    该研究利用深度强化学习探讨了鲁棒策略网络的优势，通过分析其在振荡摆和Atari Pong等问题上的实证性能和稳健性，证明了具有小Lipschitz界限的策略网络相比由普通多层感知机或卷积神经网络组成的无约束策略在扰动、随机噪声和有针对性的对抗攻击方面更加稳健。此外，研究还发现选择一个具有非保守的Lipschitz界限和具有表达力的非线性层结构的策略参数化方法可以更好地平衡性能和稳健性的权衡，优于现有基于谱标准化的最新方法。

    May, 2024

  • RRLS：强化学习套件

    我们引入了RRLS（Robust Reinforcement Learning Suite），这是一款基于Mujoco环境的基准套件，为训练和评估提供了六个连续控制任务，旨在标准化强化学习任务，促进可重现和可比较的实验，并为最新的最先进贡献提供使用实例。

    Jun, 2024