使用控制李雅普诺夫函数和控制阻碍函数的模型不确定性下安全关键控制的强化学习

Apr, 2020

使用控制李雅普诺夫函数和控制阻碍函数的模型不确定性下安全关键控制的强化学习

Reinforcement Learning for Safety-Critical Control under Model Uncertainty, using Control Lyapunov Functions and Control Barrier Functions

PDF

Jason Choi, Fernando Castañeda, Claire J. Tomlin, Koushil Sreenath

TL;DR本文提出了一种基于强化学习框架的方法，利用 CBF、CLF 等约束条件中存在的模型不确定性，并结合标称模型的 CBF-CLF-QP，得到了强化学习驱动的 CBF-CLF-QP，有效解决了安全约束中的模型不确定性问题。实验证明，在一个脚踩随机分布台石的非完全驱动非线性双足机器人上，此方法保证了机器人的安全和稳定行走。

Abstract

In this paper, the issue of model uncertainty in safety-critical control is addressed with a data-driven approach. For this purpose, we utilize the structure of an input-ouput linearization controller based on a

model uncertainty safety-critical control reinforcement learning quadratic program dynamic constraints

发现论文，激发创造

使用控制李雅普诺夫障碍函数进行安全机器人控制的强化学习

本文研究使用控制李亚普诺夫壁函数（CLBF）来分析安全性和可达性，使用 Lyapunov 壁演员 - 评论家（LBAC）算法进行数据驱动寻找控制器，以实现无模型的强化学习在机器人控制中的广泛应用。在模拟实验和真实机器人控制实验中，实验结果显示了该方法在可达性和安全性方面的优异表现。

May, 2023

一种基于 Barrier-Lyapunov 的 Actor-Critic 强化学习方法，用于安全稳定控制

本文提出了一个基于控制栅函数 (control barrier function, CBF) 和控制李雅普诺夫函数 (control Lyapunov function, CLF) 方法的强化学习 (reinforcement learning, RL) 框架，称之为 Barrier-Lyapunov Actor-Critic (BLAC) 框架，它有助于维护系统的安全性和稳定性。本框架通过基于重放缓冲器中采样的数据构建安全性的控制障碍函数约束和稳定性的控制李雅普诺夫函数约束，并使用增广拉格朗日方法来更新基于 RL 的控制器的参数。此外，本文还引入了一种备份控制器，以防安全和稳定性约束无法同时满足时 RL 控制器不能提供有效的控制信号。仿真结果证明，相对于基线算法，该框架产生的控制器可以帮助系统接近期望状态，并导致更少的安全约束违反。

Apr, 2023

基于障碍函数的端到端安全强化学习在安全关键型连续控制任务中的应用

本文提出了一种控制器架构，该架构将模型自由的强化学习控制器与利用控制屏障函数和未知系统动态的模型控制器相结合，以确保学习过程中的安全，并利用高斯过程对系统动态进行建模和不确定性分析。

Mar, 2019

具有控制障碍函数的安全关键控制学习

利用控制屏障函数的机器学习框架可以降低非线性控制系统中的模型不确定性，从而实现系统的安全行为。通过在 Segway 平台上进行模拟和实验验证，这种方法可以持续收集数据并更新控制器，最终实现安全行为。

Dec, 2019

基于控制束函数的二次规划安全关键系统

本文在实时基于优化的控制器的背景下，发展了一种方法论，将以控制层李雅普诺夫函数表达的性能目标与以控制屏障函数表示的安全条件相结合，并在二次规划的框架下演示了自适应巡航控制和车道保持这两个汽车控制问题的安全和性能的调节。

Sep, 2016

使用强健神经李亚普诺夫障函数的安全非线性控制

本文提出一种基于模型学习的方法，根据鲁棒凸优化和 Lyapunov 理论定义了鲁棒控制 Lyapunov 阻碍函数，以实现具有安全性和稳定性保证的控制器，并在诸如汽车轨迹跟踪、带障碍物避障的非线性控制、带安全性约束的卫星交会和具有学习地效果模型的飞行控制等问题上展示了其模拟结果，表明我们的方法降低了计算成本，并且得到的控制器的能力与稳健 MPC 技术相匹配或优于其能力。

Sep, 2021

基于强化学习的自适应控制屏障函数的滑动时限控制在安全关键系统中的应用

通过使用基于控制障碍函数的强化学习（RL）的递进式规划控制（RHC）方法，我们提出了一种用于解决安全关键问题的最优控制方法，以模型预测控制（MPC）和控制障碍函数（CBFs）为基础，通过优化参数和学习控制输入，有效提高了性能并显著减少了不可行案例的数量。

Mar, 2024

从专家演示中学习控制屏障函数

本文提出一种基于学习的方法来合成安全控制器，该方法基于控制屏障函数，考虑非线性控制仿射动力系统的情况，并假设我们可以访问由专家生成的安全轨迹，在此基础上，提出和分析了基于优化的 CBF 学习方法，其具有可证明的安全保证。

Apr, 2020

基于贝叶斯学习的适应性安全关键系统控制

提出了一种满足安全性和实时性约束，利用贝叶斯模型学习和随机 CLFs、CBFs 控制框架的深度神经网络模型不确定性学习的方法，并在高速行进的火星车任务中进行了演示。

Oct, 2019

控制壁函数实现自适应安全

本研究提出了一种适应性控制障碍函数（aCBFs）方法，在不确定参数的情况下使系统状态保持在安全集之内，并将适应性控制李亚普诺夫函数（aCLFs）和 aCBFs 统一为单一控制方法。此方法在基于二次规划（QP）的框架下实现系统的稳定和安全性，并在自适应巡航控制（ACC）模拟中验证了其性能。

Oct, 2019