我们提出了一种新的方法，同时学习安全的强化学习控制策略并识别给定环境的未知的安全约束参数，通过使用参数化信号时态逻辑 (pSTL) 安全规范和小规模初始标记数据集，将问题作为双层优化任务，通过使用拉格朗日变体的双延迟深度确定性策略梯度 (TD3) 算法的约束策略优化，并结合贝叶斯优化来优化给定 pSTL 安全规范的参数。通过全面的案例研究实验证实了该方法在各种环境约束形式上的有效性，始终产生高回报的安全强化学习策略。此外，我们的研究结果表明成功学习了 STL 安全约束参数，与真实环境安全约束具有高度一致性。我们模型的表现与完全了解安全约束的理想情况非常相似，表明其能够准确识别环境安全约束并学习遵守这些约束的安全策略。

Feb, 2024

本文介绍了自适应安全填充的概念以及如何在学习过程中确保安全性，该方法利用强化学习合成最优控制策略来满足固定的目标逻辑公式，有效平衡探索效率和安全性，并提供了理论最优性和学习算法收敛的保证，实验结果表明了该方法的良好性能。

Feb, 2020

该论文主要研究通过约束条件解决具有复杂安全约束的长期决策问题，提出了一种结合高级有约束规划代理和低级目标条件强化学习代理的机制，能够处理成本分布的约束，并在实验中验证了其实用性。

Feb, 2023

通过直接学习神经网络控制器以满足信号时间逻辑 (STL) 的要求，以确保长期机器人任务的安全性和满足时间规范的挑战。同时，采用备用策略以保证控制器故障时的安全性。该方法可以适应不同的初始条件和环境参数，并在复杂的 STL 规范任务中以 10 倍至 100 倍速度快于传统方法。

Sep, 2023

我们提出了一种基于自动机理论的强化学习方法，用于复杂时空约束下的限时学习。该方法通过将有界时态逻辑约束转化为总自动机，并基于已知的转移概率上下界避免 “不安全” 动作，从而在学习过程中强制满足约束条件的概率达到预期值。

Jul, 2023

提出一种迭代策略优化算法以安全地学习来自基准策略的强化学习问题，其中基准策略可以来自示范数据或教师代理，并且需要满足一组由安全性、公平性或其他特定应用需求编码的约束条件。在控制任务上的实验中，该算法始终优于多个最先进的基线算法，并在平均回报上提高了 40％，约 10 倍少的约束违规行为。

Jun, 2020

该论文提出了一种考虑安全性的学习算法，利用 Lyapunov 稳定性检验的控制理论结果和动力学统计模型，得到具备可证明稳定性证书的高性能控制策略，并通过高斯过程先验进一步保证数据安全性和提高控制性能。在反演摆模拟实验中表现出安全性高、控制性能良好的特点。

May, 2017

我们开发了一种可证明安全和收敛的非线性动态系统控制的强化学习算法，填补了控制理论的强安全性保证和强化学习理论的收敛保证之间的差距。我们的方法通过单阶段的基于采样的方式，在学习过程和实际应用中满足硬约束条件，同时享有经典的收敛保证，我们在仿真环境中验证了我们方法的有效性，包括一个具有挑战性障碍避免问题的四旋翼无人机的安全控制，并证明其胜过现有的基准模型。

Mar, 2024

提出一种基于长短期约束的安全强化学习算法，用于优化端到端自动驾驶的训练过程，实现连续状态和行动任务中更高的安全性和长距离决策任务中更高的探索性能。

Mar, 2024

本文探讨了在概率受限制的强化学习中学习安全策略的问题，并提出了两种算法 ——Safe Policy Gradient-REINFORCE 和 SPG-Actor-Critic 以及 Safe Primal-Dual 算法来解决。通过实验，验证了这些方法的有效性和优越性。

Jun, 2023