Jun, 2024

RRLS：强化学习套件

PDF
TL;DR我们引入了 RRLS（Robust Reinforcement Learning Suite），这是一款基于 Mujoco 环境的基准套件，为训练和评估提供了六个连续控制任务，旨在标准化强化学习任务，促进可重现和可比较的实验，并为最新的最先进贡献提供使用实例。
robust reinforcement learningworst-case performanceadversarial environmentsbenchmark suitemujoco environments
发现论文，激发创造
  • 强韧性对抗性强化学习

    提出了一种稳健性的敌对训练 (robust adversarial reinforcement learning, RARL) 方法，该方法将敌对训练与零和极小优化相结合，通过训练一个智能体，使其能够在真实系统上的杂乱因素和不确定性下操作，并在多种环境中进行了验证。

    Mar, 2017

  • 可控行为的弱监督强化学习

    本文介绍了一种使用弱监督来自动区分语义明确的任务子空间和无意义的 “杂草” 任务空间的方法。研究表明，这种学习到的子空间可实现高效探索，并提供了一种捕捉状态间距离的表示形式。该方法在多种具有挑战性的基于视觉的连续控制问题中实现了显著的性能提升，特别是在环境复杂性增加的情况下。

    Apr, 2020

  • 通过适应性规则对抗训练实现史塔克伯格博弈的坚韧强化学习

    本文介绍了一种用于强化学习的 Stackelberg 游戏模型 ——RRL-Stack，旨在提供额外的鲁棒性训练和解决目前 RL 训练中存在的过度保守智能及训练不稳定等问题，并提出了一种基于 Stackelberg Policy Gradient 算法的解决方案，在单一和多智能体任务中展现更好的训练稳定性和鲁棒性。

    Feb, 2022

  • 风险厌恶稳健对抗强化学习

    本文提出了一种风险规避的强化学习算法，通过引入风险规避主角和风险趋避对手的方式，使用价值函数方差来建模风险，避免极端不良事件的发生，该算法在自动驾驶控制器上的实验中证明具有较高的鲁棒性。

    Mar, 2019

  • 现实世界强化学习挑战的经验研究

    本文针对强化学习在实际问题中难以部署的问题，提出了一系列的挑战，并通过 Markov 决策过程定义这些挑战并分析其影响，同时探讨了一些现有的解决方法。为了验证算法的可部署性，我们提出并开源了 realworldrl-suite 套件作为一个基准测试集。

    Mar, 2020

  • 多重不确定性集合上的鲁棒策略学习

    本文提出了一个更加通用的解决方案来解决强化学习中的鲁棒性问题，设计了一种算法，该算法结合了系统识别和鲁棒强化学习的优点，解决在不同情况下的不确定性问题，并在多个控制任务中获得了比之前方法更好的最坏情况执行性能。

    Feb, 2022

  • 具有概率策略执行不确定性的高效动作稳健强化学习

    本文探讨了具有概率性策略执行不确定性的抗干扰强化学习问题，并提出了 ARRLC 算法，该算法具有极小化最坏情况下收益损失和样本复杂性的性质，并在实验中验证了其在存在干扰情况下的稳健性。

    Jul, 2023

  • 稳健建筑控制的主动强化学习

    在建筑控制领域，本研究提出了一种新颖的 UED 算法 ActivePLR，通过使用具有不确定性感知的神经网络结构，在 RL 代理的能力极限处生成新的训练环境，并能够优先考虑在基准环境中的性能，表明 ActivePLR 能够在最小化能源消耗的同时最大化居住者舒适度方面优于最先进的 UED 算法。

    Dec, 2023

  • 连续控制任务中带不确定性集合正则化的鲁棒强化学习

    本文提出了一种基于不确定参数空间的不确定性集合正则化器 USR，以提高强化学习在真实世界机器人领域中的鲁棒性和推广性，并在实际测试环境下对其进行评估。

    Jul, 2022

  • URLB: 无监督强化学习基准测试

    通过提出无监督强化学习基准（URLB）并提供开源代码，研究人员比较了八种无监督强化学习方法及其在十二项任务中的表现，发现当前算法仍存在难以适应新任务的局限性，并提出了未来研究方向。

    Oct, 2021