提出了一个理论框架，通过捕捉非线性系统中的状态和动作相关的不确定性，综合应用稳健模型预测控制（RMPC）和强化学习（RL），以合成非线性系统的安全过滤器，其计算复杂度较低且具有持久的鲁棒安全保证。

Nov, 2023

最近，由于将汽车和卡车远离城市中心的趋势，对城市水路自主航运的兴趣显著增加。本文提出了一种基于强化学习的新型路径规划方法，称为模型预测强化学习（MPRL）。MPRL 通过计算一系列船只需遵循的航点来规划路径，将环境表示为占用栅格地图，可以处理任何形状的水道和任意数量和形状的障碍物。我们在两个场景上验证了我们的方法，并将其与基于 Frenet 框架的路径规划和基于邻近策略优化（PPO）代理的路径规划进行了比较。我们的结果表明，在两个测试场景中，MPRL 的性能优于两个基准方法。基于 PPO 的方法在任一场景中均未能达到目标，而基于 Frenet 框架的方法在带有障碍物角落的场景中失败。MPRL 能够在两个测试场景中安全地（无碰撞地）导航到目标。

Nov, 2023

在强化学习应用于现实系统时，确保安全是一个关键的挑战。因此，我们通过概率动力学模型提供一种基于控制理论的置信度安全过滤器方法，用于认证通过标准强化学习技术学习的名义策略的状态安全约束条件，将安全验证降低到标准强化学习任务。利用幻想输入的概念，我们将这种方法扩展到确定对未知系统具有高概率安全的 “备份” 策略。最后，在朝向备份策略的滚动过程中，每个时间步骤最小调整名义策略，以保证安全恢复。我们提供了正式的安全保证，并在实验中证明了我们方法的有效性。

Jul, 2022

通过在长期视野内考虑输入修正方法，缓解震荡问题，提供学习控制器的安全保障，并且在四旋翼实验中证明了其有效性。

Sep, 2023

本文提出了一种名为集成模型预测安全认证的新算法，该算法结合了基于模型的深度强化学习和基于管道的模型预测控制，通过计划对学习代理所采取的行动进行修正，使安全约束违规最小化。我们的方法旨在通过仅需要由安全控制器生成的离线数据，尽量减少对实际系统的先验知识。我们的结果表明，与可比较的强化学习方法相比，我们可以实现显著减少的约束违规。

Feb, 2024

本文提出了一个基于深度强化学习的逼真的模块化框架，用于控制内陆水路上的自主表面船舶（ASV）。该框架包括两个层次：高级本地路径规划（LPP）单元和低级路径跟踪（PF）单元，每个单元都包含一个 DRL 代理。其中，LPP 代理负责考虑附近船只、交通规则和水路几何形状来规划路径，我们利用了最近提出的空间时间循环神经网络架构，在连续行动空间下进行转移。PF 代理负责低级执行器控制，同时考虑浅水对海船的影响以及环境力量如风、浪和洋流。两个代理在仿真环境中进行了全面验证，以德国北部的下艾尔伯为案例，使用真实的 AIS 轨迹来模拟其他船只的行为。

Jul, 2023

该论文展示了自主网络防御在工业控制系统中的潜力，并提供了一个基线环境，进一步探索多智能体强化学习在此问题领域的应用。

Jan, 2024

本文提出了一种控制器架构，该架构将模型自由的强化学习控制器与利用控制屏障函数和未知系统动态的模型控制器相结合，以确保学习过程中的安全，并利用高斯过程对系统动态进行建模和不确定性分析。

Mar, 2019

此研究比较了两种可学习导航策略（安全和不安全），表明安全策略能够在训练过程中生成具有更大间隙（与障碍物之间的距离）的轨迹，减少碰撞，且不影响整体性能。

Jul, 2023

安全过滤器方法综述，提供了一个统一的技术框架，以理解、比较和结合现有技术，为下一代自主机器人的部署提供更可扩展的综合、鲁棒性监测和高效干预的方向。

Sep, 2023