Sep, 2023

安全强化学习中的迭代可达性估计

PDF
TL;DR确保安全对于强化学习的实际部署非常重要。我们提出了一个新的框架，用于在一般的随机环境中进行安全约束的强化学习。我们的算法在最优化奖励的同时保持持续的安全特性，通过最小化累积折扣违规行为来产生最安全的行为，并基于可达性估计来优化我们提出的框架。我们在多个安全强化学习环境上评估了该方法，并与当前最先进的基准方法进行了比较，结果显示了在提高奖励性能和安全性方面的优势。
safety-constrained rlpersistent safetyreachability estimation for safe policy optimizationfeasible setoptimization framework
发现论文，激发创造
  • 可达性约束强化学习

    本文提出了基于可达性分析的 RCRL 方法来解决 CRL 中的安全约束问题，并利用可达性分析来建立新的自洽性条件以及特征化可行集。在多个基准测试中，RCRL 方法展现了优于 CRL 和安全控制基准的可行集、策略绩效和约束满足性。

    May, 2022

  • 安全强化学习的一致性可行性表征学习

    在安全强化学习领域，通过结合表示学习和可行性导向目标，我们引入了一种名为 Feasibility Consistent Safe Reinforcement Learning（FCSRL）的新框架，以从原始状态中提取与安全相关的信息从而增强策略学习和约束估计。在多种向量状态和基于图像的任务的实证评估中，我们的方法能够学习到更好的安全感知嵌入并取得优越的性能，超过了先前的表示学习基线。

    May, 2024

  • 针对对抗性干扰的坚固安全强化学习

    该论文提出了一种鲁棒安全强化学习框架，解决了在真实控制任务中应用强化学习时外部干扰的安全性问题，该框架通过建立鲁棒不变集合来保证安全，并采用约束强化学习算法进行策略优化。

    Oct, 2023

  • 张量再生核希尔伯特空间中的安全强化学习

    本文探讨了在部分可观察环境下的安全强化学习问题，旨在实现安全可达性目标。通过提出一种基于随机模型的方法，在面对未知系统动态和部分观测环境时，几乎确定地保证了强化学习的安全性。利用预测状态表示和再生核希尔伯特空间，对未来的多步观测进行了解析表示，并通过核贝叶斯规则导出了关键操作，可以使用不同的操作递归估计未来的观测。在假设观测和动作空间无限大的情况下，为强化学习算法建立了多项式样本复杂度，确保了 ε- 次优安全策略保证。

    Dec, 2023

  • 安全强化学习的约束变分策略优化

    该研究通过引入新的期望最大化方法，并从概率推理的角度解决问题，将安全增强学习问题分解为凸优化和监督学习两个阶段，实现了更稳定和更高效的学习表现，并在连续机器人任务的广泛实验中取得了显著的约束满足性能和样本效率提升。

    Jan, 2022

  • 通过样本操作提高安全强化学习的效率

    通过样本操作提高安全强化学习的效率，动态调整采样过程以最大程度地最小化成本和最大化奖励之间的平衡，ESPO 理论上保证了收敛性、优化稳定性和改善样本复杂性界限。在 Safety-MuJoCo 和 Omnisafe 基准测试中，ESPO 在奖励最大化和约束满足方面明显优于现有基线方法，同时显著提高了样本效率，与基线方法相比，所需样本减少了 25-29％，训练时间减少了 21-38％。

    May, 2024

  • 具有稳定性保证的安全基于模型的强化学习

    该论文提出了一种考虑安全性的学习算法，利用 Lyapunov 稳定性检验的控制理论结果和动力学统计模型，得到具备可证明稳定性证书的高性能控制策略，并通过高斯过程先验进一步保证数据安全性和提高控制性能。在反演摆模拟实验中表现出安全性高、控制性能良好的特点。

    May, 2017

  • 深度强化学习控制的机器人和自主系统的可达性验证的可靠性评估

    本文提出了一个用于 DRL 控制的机器人和自主系统的可靠性评估框架，并利用形式可靠性分析生成的验证证据，验证了其安全性。

    Oct, 2022

  • 基于置信度过滤器的安全强化学习

    在强化学习应用于现实系统时，确保安全是一个关键的挑战。因此，我们通过概率动力学模型提供一种基于控制理论的置信度安全过滤器方法，用于认证通过标准强化学习技术学习的名义策略的状态安全约束条件，将安全验证降低到标准强化学习任务。利用幻想输入的概念，我们将这种方法扩展到确定对未知系统具有高概率安全的 “备份” 策略。最后，在朝向备份策略的滚动过程中，每个时间步骤最小调整名义策略，以保证安全恢复。我们提供了正式的安全保证，并在实验中证明了我们方法的有效性。

    Jul, 2022

  • 可行的演员 - 评论家算法：基于约束强化学习实现状态安全性保障

    本文提出了可行行动者 - 评论家 (FAC) 算法，是第一个考虑到每个初始状态的状态安全性的无模型约束 RL 方法，通过构造基于 RL 采样的状态 Lagrange 函数并采用附加神经网络逼近状态 Lagrange 乘数，我们可以获得确保每个可行状态安全的最佳可行策略和最安全的不可行状态策略。

    May, 2021