Nov, 2024

将安全性嵌入强化学习：信任区域方法的新视角

HTML
PDF
TL;DR本研究解决了强化学习中存在的不安全行为问题，提出了一种新的方法——受限信任区域策略优化（C-TRPO），通过根据安全约束调整策略空间的几何结构，确保训练过程中的约束满足。实验结果表明，C-TRPO在显著减少约束违规的同时，与最先进的受限马尔可夫决策过程算法相比，在奖励最大化方面具备竞争力。
发现论文，激发创造
  • 信任域策略优化

    本文提出了一种名为TRPO的实用算法，通过优化政策来达到保证单调改善的目的，并通过一系列实验展示了其在学习模拟机器人的Swimming、Hopping以及Walking，并使用屏幕图像玩Atari游戏等众多方面的优越表现。

    Feb, 2015

  • Trust-PCL: 一种用于连续控制的离线信任区域方法

    提出一种基于离线数据的信任区域方法Trust-PCL，能够在强化学习中稳定策略优化算法，使用相对熵正则化器优化最大回报目标的最优策略和状态值满足一组多步路径一致性，提高了样本效率和解决方案质量。

    Jul, 2017

  • 自适应信任域策略优化：正则化MDPs的全局收敛和更快速率

    本文考虑在强化学习中使用的一种流行算法Trust region policy optimization（TRPO）与传统的凸分析中自然的信任域方法之间的关系，证明了TRPO的适应性调节机制实际上是传统信任域方法的RL版本，并在规则化MDP中，展示了快速收敛速率的结果，这是关于规则化即时成本或奖励时在RL中的首个更好的结果。

    Sep, 2019

  • 基于高效信任区域的安全增强学习与低偏差分布演员-评论家

    本文提出了一种基于信任区域方法的安全分布式强化学习方法，包括针对分布式评论家的估计偏差的降低，用Q函数表示的信任区域方法的新代理以及从不安全的初始代理找到满足所有约束的代理的梯度集成方法，实验表明，该方法表现出最小的约束违规，同时实现了高收益。

    Jan, 2023

  • 针对随机策略的无信赖区域策略优化

    本文提出了一个名为TREFree的算法，该算法采用广义代理目标来替代策略上的可信区间约束并在实践中通过保守优化广义目标来有效实施，从而获得更好的策略绩效和样本效率。

    Feb, 2023

  • 高效的离线安全强化学习：使用信任区域条件风险

    本论文提出了一种基于风险约束的安全强化学习方法，并通过引入适应性信任区约束以减少分布偏移的影响，解决了在复杂环境中实现优异性能并快速满足安全约束的问题。

    Dec, 2023

  • TRC：用于安全强化学习的信任区域条件风险价值

    提出了一种以条件风险为约束的信赖区域安全强化学习方法（TRC），通过近似上界和使用次问题训练策略，实现在安全约束下达到更优性能的有效导航任务。

    Dec, 2023

  • 通过两阶段KL惩罚实现保证的信任区域优化

    应用KL惩罚本身几乎足以强制执行信任区域，在实践中通过少于5%的额外梯度步骤引入"修复"阶段足以保证在每个策略更新时执行信任区域，产生与其他信任区域方法相竞争的结果。

    Dec, 2023

  • 安全强化学习中的约束形式调查

    基于约束条件的安全强化学习方法在实现安全优化代理策略方面发挥了重要作用，本研究综述了代表性约束形式以及专为每种形式设计的算法，并揭示了常见问题形式之间的数学相互关系，最后讨论了安全强化学习研究的现状和未来方向。

    Feb, 2024

  • 强化学习中策略和未知安全约束的并发学习

    我们提出了一种新的方法，同时学习安全的强化学习控制策略并识别给定环境的未知的安全约束参数，通过使用参数化信号时态逻辑 (pSTL) 安全规范和小规模初始标记数据集，将问题作为双层优化任务，通过使用拉格朗日变体的双延迟深度确定性策略梯度 (TD3) 算法的约束策略优化，并结合贝叶斯优化来优化给定 pSTL 安全规范的参数。通过全面的案例研究实验证实了该方法在各种环境约束形式上的有效性，始终产生高回报的安全强化学习策略。此外，我们的研究结果表明成功学习了 STL 安全约束参数，与真实环境安全约束具有高度一致性。我们模型的表现与完全了解安全约束的理想情况非常相似，表明其能够准确识别环境安全约束并学习遵守这些约束的安全策略。

    Feb, 2024