Jan, 2023

基于高效信任区域的安全增强学习与低偏差分布演员-评论家

HTML
PDF
TL;DR本文提出了一种基于信任区域方法的安全分布式强化学习方法，包括针对分布式评论家的估计偏差的降低，用Q函数表示的信任区域方法的新代理以及从不安全的初始代理找到满足所有约束的代理的梯度集成方法，实验表明，该方法表现出最小的约束违规，同时实现了高收益。
发现论文，激发创造
  • Trust-PCL: 一种用于连续控制的离线信任区域方法

    提出一种基于离线数据的信任区域方法Trust-PCL，能够在强化学习中稳定策略优化算法，使用相对熵正则化器优化最大回报目标的最优策略和状态值满足一组多步路径一致性，提高了样本效率和解决方案质量。

    Jul, 2017

  • 不确定性感知策略优化：一种稳健、自适应的信任区域方法

    在强化学习中，针对数据量有限的情况，提出了一种基于不确定性管理技术的深度策略优化方法，可以生成稳健的策略更新，适应学习过程中的不确定性水平。

    Dec, 2020

  • 可行的演员-评论家算法：基于约束强化学习实现状态安全性保障

    本文提出了可行行动者-评论家(FAC)算法，是第一个考虑到每个初始状态的状态安全性的无模型约束RL方法，通过构造基于RL采样的状态Lagrange函数并采用附加神经网络逼近状态Lagrange乘数，我们可以获得确保每个可行状态安全的最佳可行策略和最安全的不可行状态策略。

    May, 2021

  • SAAC: 基于扮演者-评论者对抗博弈的安全强化学习

    本文提出了一种利用最大熵RL和安全性对抗指导的SAAC框架，能够有效解决在现实世界系统中，风险或安全性是一个约束的问题，同时它也能够满足不同的安全性标准。

    Apr, 2022

  • 高效的离线安全强化学习：使用信任区域条件风险

    本论文提出了一种基于风险约束的安全强化学习方法，并通过引入适应性信任区约束以减少分布偏移的影响，解决了在复杂环境中实现优异性能并快速满足安全约束的问题。

    Dec, 2023

  • TRC：用于安全强化学习的信任区域条件风险价值

    提出了一种以条件风险为约束的信赖区域安全强化学习方法（TRC），通过近似上界和使用次问题训练策略，实现在安全约束下达到更优性能的有效导航任务。

    Dec, 2023

  • 通过两阶段KL惩罚实现保证的信任区域优化

    应用KL惩罚本身几乎足以强制执行信任区域，在实践中通过少于5%的额外梯度步骤引入"修复"阶段足以保证在每个策略更新时执行信任区域，产生与其他信任区域方法相竞争的结果。

    Dec, 2023

  • 基于信任域的少样本模拟实现增强学习

    使用仿真技术最小化对真实世界交互的需求，在少样本离线动力学设置下，引入了一种新方法，通过惩罚来限制仿真训练策略引发的轨迹，以解决常规强化学习代理倾向于利用仿真不准确性的挑战。在各种环境中评估了我们的方法，包括代表不同仿真到真实条件的高维系统，并且在大多数测试场景中，我们的方法相比现有基线模型表现出改进。

    Dec, 2023

  • 安全强化学习中的约束形式调查

    基于约束条件的安全强化学习方法在实现安全优化代理策略方面发挥了重要作用，本研究综述了代表性约束形式以及专为每种形式设计的算法，并揭示了常见问题形式之间的数学相互关系，最后讨论了安全强化学习研究的现状和未来方向。

    Feb, 2024

  • 将安全性嵌入强化学习：信任区域方法的新视角

    本研究解决了强化学习中存在的不安全行为问题，提出了一种新的方法——受限信任区域策略优化（C-TRPO），通过根据安全约束调整策略空间的几何结构，确保训练过程中的约束满足。实验结果表明，C-TRPO在显著减少约束违规的同时，与最先进的受限马尔可夫决策过程算法相比，在奖励最大化方面具备竞争力。

    Nov, 2024