GenSafe：基于简化马尔可夫决策过程模型的通用安全增强器

Jun, 2024

GenSafe：基于简化马尔可夫决策过程模型的通用安全增强器

GenSafe: A Generalizable Safety Enhancer for Safe Reinforcement Learning Algorithms Based on Reduced Order Markov Decision Process Model

PDF

Zhehua Zhou, Xuan Xie, Jiayang Song, Zhan Shu, Lei Ma

TL;DR为了提高深度强化学习中系统的安全性，在这项工作中引入了一个名为 GenSafe 的通用安全增强器，通过模型降阶技术构建了一个低维度的 Proxy 来改善代理行为，从而提供了跨多种 SRL 方法的广泛兼容性，它不仅能够改善安全性能，特别是在早期学习阶段，还能够维持任务性能在一个令人满意的水平。

Abstract

Although deep reinforcement learning has demonstrated impressive achievements in controlling various autonomous systems, e.g., autonomous vehicles or humanoid robots, its inherent reliance on random exploration raises safety concerns in their real-world applications. To improve system

deep reinforcement learning safe reinforcement learning (srl)constrained markov decision process (cmdp)genralizable safety enhancer (gensafe)model order reduction techniques

发现论文，激发创造

受限马尔可夫决策过程中安全的强化学习

该研究提出了一种名为 SNO-MDP 的算法，它可以在未知安全约束条件下探索和优化马尔可夫决策过程，通过扩展安全区域来学习安全约束条件，进而在已认证的安全区域内优化累积奖励。通过两个实验展示了该算法的有效性。

Aug, 2020

一种基于李亚普诺夫函数的安全强化学习方法

提出了一种基于 Lyapunov 方法的安全强化学习算法，该算法可在保证行为策略安全的前提下，有效地平衡约束满足和性能优化。

May, 2018

SCPO: 带安全评论家策略优化的安全强化学习

本研究介绍了一种新的安全强化学习算法（Safety Critic Policy Optimization，SCPO），通过引入安全评判机制，该算法能够自动平衡遵守安全限制和最大化奖励之间的权衡，并在实证验证中证明了其有效性。

Nov, 2023

受限马尔科夫决策过程中的安全策略改进

该研究提出了一种解决增强学习自动合成策略的算法，该算法通过解决奖励形状设计和安全策略更新等挑战来实现，同时使用基于模型的 RL 算法来有效地利用我们收集的数据，并在标准控制基准中展示了其有效性和鲁棒性。

Oct, 2022

基于优势干预的安全强化学习

提出了一个新的算法 SAILR，该算法使用基于优势函数的干预机制在训练期间保持代理的安全，并使用为无约束 MDP 设计的现成强化学习算法来优化代理的策略。在使用实验证明了该算法在训练和部署期间都具有较强的安全性和良好的策略表现。

Jun, 2021

强化学习在具有轨迹优化的安全嵌入式马尔可夫决策过程中的应用

这项研究将强化学习与轨迹优化相结合，以管理最大化奖励与遵守安全约束之间的权衡，并在安全性出发推理阶段取得显著高奖励和几乎零安全违规的性能，通过在真实机器人任务中将盒子推动穿越障碍物来展示了该方法的实际应用性。

Oct, 2023

Saute RL: 使用状态增广实现近乎绝对安全的强化学习

Saute MDP can remove safety constraints by augmenting state-space and reshaping objective, allowing for policy generalization and better constraint satisfaction in reinforcement learning.

Feb, 2022

马尔科夫决策过程的安全约束强化学习

该论文研究了针对随机和部分未知环境下控制器综合的相关问题，并提出了一种基于安全的 Markov 决策过程的解决方案，并利用迭代学习过程来实现安全性和最优性的权衡。

Oct, 2015

安全优化增强学习通过多目标策略优化

基于多目标策略优化框架的新型无模型安全强化学习算法引入，通过环境奖励函数和安全评论家对策略进行优化，以实现在不违反约束条件的情况下同时达到最佳和安全性。该算法通过理论分析提出了收敛策略的安全性保障条件，并引入了一个攻击参数，允许对所述权衡进行微调。实证结果表明，与六种不同最新颖的 Safe RL 方法相比，提出的 SORL 算法在七个不同的机器人环境中显著减少了安全违规次数，并获得更高或竞争性的策略回报，在安全关键应用方面表现出明显的优越性。

Feb, 2024

长期安全强化学习与二进制反馈

LoBiSaRL 是一种安全的强化学习算法，应用于有约束的马尔科夫决策过程中，通过二进制安全反馈和未知的随机状态转移函数来保证长期安全约束。

Jan, 2024