提出了一个名为 safe-control-gym 的新开源基准套件，支持模型和数据驱动控制技术，在 3 个动态系统和 2 个控制任务上提供实现，并建议将 OpenAI 的 Gym API 扩展为支持符号动态和限制条件的查询，并演示如何使用 safe-control-gym 来量化比较传统控制、基于学习的控制和强化学习的多种方法的控制性能、数据效率和安全性。

Sep, 2021

本篇论文给出一个基础性安全强化学习框架，拥有不同领域跨越的一系列算法和重要的安全元素，以便更有效地研究 AI 安全和 SafeRL 算法实现。

May, 2023

通过在 Panda 机械臂创建自定义环境，扩展安全强化学习算法的适用性，并通过与基准版本的比较表明，在满足安全约束条件的同时，受限版本能够学习到同样好的策略，但需要更长的训练时间。

Nov, 2023

引入了通用统一的安全强化学习开发基准（GUARD）, 它是一个广义基准测试，涵盖了各种 RL 智能体、任务和安全约束规格。通过使用 GUARD 进行各种任务设置下的现有安全强化学习算法的比较，建立了未来工作可以构建基线的基础。

May, 2023

本文介绍了一种将拉格朗日方法和规划方法融合到世界模型中的算法 Safe DreamerV3，这是首个在 Safety-Gymnasium benchmark 中能够在低维和仅依靠视觉的任务中实现近乎零成本的 SafeRL 算法。

Jul, 2023

为了将 RL 算法部署到实际场景中并在学习过程中确保安全性，我们提出了使用转移学习方法学习在一个任务环境中如何保持安全性，然后将所学用于约束在学习新任务时的行为，此方法在三个具有挑战性的领域中实证，相比于标准的深度 RL 技术和以前的安全 RL 方法，我们的方法不但减少了安全事故，还提高了学习的速度和稳定性。

Oct, 2020

该论文提出了一种考虑安全性的学习算法，利用 Lyapunov 稳定性检验的控制理论结果和动力学统计模型，得到具备可证明稳定性证书的高性能控制策略，并通过高斯过程先验进一步保证数据安全性和提高控制性能。在反演摆模拟实验中表现出安全性高、控制性能良好的特点。

May, 2017

我们介绍了 controlgym，这是一个包含 36 个安全关键的工业控制设置和 10 个基于无穷维偏微分方程的控制问题的库。我们将 controlgym 集成在 OpenAI Gym/Gymnasium (Gym) 框架中，允许直接应用标准的强化学习算法，如 stable-baselines3。此项目旨在为学习动态和控制（L4DC）社区提供服务，探索关键问题：学习控制策略的强化学习算法的收敛性；基于学习的控制器的稳定性和鲁棒性问题；以及强化学习算法在高维度和潜在无穷维度系统上的可扩展性。我们在 https URL 上开源了 controlgym 项目。

Nov, 2023

基于多目标策略优化框架的新型无模型安全强化学习算法引入，通过环境奖励函数和安全评论家对策略进行优化，以实现在不违反约束条件的情况下同时达到最佳和安全性。该算法通过理论分析提出了收敛策略的安全性保障条件，并引入了一个攻击参数，允许对所述权衡进行微调。实证结果表明，与六种不同最新颖的 Safe RL 方法相比，提出的 SORL 算法在七个不同的机器人环境中显著减少了安全违规次数，并获得更高或竞争性的策略回报，在安全关键应用方面表现出明显的优越性。

Feb, 2024

该研究提出了一系列强化学习环境，说明智能代理的各种安全属性问题。我们通过为每个环境配备一个隐藏的性能函数来衡量与预期安全行为的一致性，该研究将 AI 安全问题分为强健性问题和规范问题。我们在这些环境中评估了两种深度强化学习代理 A2C 和 Rainbow，并展示了它们不能令人满意地解决这些问题。

Nov, 2017