本文提出了一个基于控制栅函数 (control barrier function, CBF) 和控制李雅普诺夫函数 (control Lyapunov function, CLF) 方法的强化学习 (reinforcement learning, RL) 框架，称之为 Barrier-Lyapunov Actor-Critic (BLAC) 框架，它有助于维护系统的安全性和稳定性。本框架通过基于重放缓冲器中采样的数据构建安全性的控制障碍函数约束和稳定性的控制李雅普诺夫函数约束，并使用增广拉格朗日方法来更新基于 RL 的控制器的参数。此外，本文还引入了一种备份控制器，以防安全和稳定性约束无法同时满足时 RL 控制器不能提供有效的控制信号。仿真结果证明，相对于基线算法，该框架产生的控制器可以帮助系统接近期望状态，并导致更少的安全约束违反。

Apr, 2023

本文研究使用控制李亚普诺夫壁函数（CLBF）来分析安全性和可达性，使用 Lyapunov 壁演员 - 评论家（LBAC）算法进行数据驱动寻找控制器，以实现无模型的强化学习在机器人控制中的广泛应用。在模拟实验和真实机器人控制实验中，实验结果显示了该方法在可达性和安全性方面的优异表现。

May, 2023

本文提出了一种控制器架构，该架构将模型自由的强化学习控制器与利用控制屏障函数和未知系统动态的模型控制器相结合，以确保学习过程中的安全，并利用高斯过程对系统动态进行建模和不确定性分析。

Mar, 2019

提出了一种满足安全性和实时性约束，利用贝叶斯模型学习和随机 CLFs、CBFs 控制框架的深度神经网络模型不确定性学习的方法，并在高速行进的火星车任务中进行了演示。

Oct, 2019

本文提出一种基于模型学习的方法，根据鲁棒凸优化和 Lyapunov 理论定义了鲁棒控制 Lyapunov 阻碍函数，以实现具有安全性和稳定性保证的控制器，并在诸如汽车轨迹跟踪、带障碍物避障的非线性控制、带安全性约束的卫星交会和具有学习地效果模型的飞行控制等问题上展示了其模拟结果，表明我们的方法降低了计算成本，并且得到的控制器的能力与稳健 MPC 技术相匹配或优于其能力。

Sep, 2021

本文提出了一种基于强化学习框架的方法，利用 CBF、CLF 等约束条件中存在的模型不确定性，并结合标称模型的 CBF-CLF-QP，得到了强化学习驱动的 CBF-CLF-QP，有效解决了安全约束中的模型不确定性问题。实验证明，在一个脚踩随机分布台石的非完全驱动非线性双足机器人上，此方法保证了机器人的安全和稳定行走。

Apr, 2020

我们提出了一种新的方法来训练和验证基于 NLB 的证书，通过证书的序列设计和过滤来简化验证过程，并与神经网络验证引擎一起提供正式保证，以确保 DRL 代理实现其目标并避免不安全行为，通过在 DRL 控制的航天器上进行案例研究展示了该方法的优点。

May, 2024

本文提出了一个安全学习框架，该框架采用自适应模型学习算法以及障碍证书，用于具有可能非平稳智能体动态的系统。本文使用稀疏优化技术提取模型的动态结构，并结合控制障碍证书来保持安全。在一定条件下，保证了违反安全性后的 Lypunov 稳定恢复。最终证明了该框架通过仿真和测试的方式，在具有未知、高度复杂和非平稳动态的机器人系统中是有效的。

Jan, 2018

本文提出了一种基于神经网络构建 Lyapunov 函数并通过训练算法将其适应到状态空间中最大安全区域形状的方法，以学习非线性闭环动力系统的准确安全证明，并在模拟倒立摆中演示了该方法的应用，讨论了如何将该方法与动态系统的统计模型一起用于安全学习算法。

Aug, 2018

本文提出了一种新颖的自适应安全控制框架，该框架采用元学习、贝叶斯模型和控制障碍函数（CBF）方法，在多重不确定性条件下保证控制过程中的概率安全性。

Jul, 2023