研究了强化学习中的安全探索问题，提出了一种叫做 shield 的方法来确保代理人只进行安全的操作，并深度结合使用 state-of-the-art deep RL 来提高 RL 代理人的性能，实验证明这种方法可以提高收敛速度和最终表现，并可用于引导 state-of-the-art RL 代理人。

Apr, 2022

通过使用所谓的野蛮方法，本文提出了构建障碍盾牌的方法，通过系统地选择真实转移函数的样本，以提取基于分区的双人安全游戏的近似有限表示。尽管难以达到严格的安全保证，但我们通过原型实现和 UPPAAL STRATEGO 实验证明了强大的统计安全保证，进一步研究了障碍盾牌的合成对控制器学习前和后应用的影响，并在一系列案例研究中应用了我们的技术。

Aug, 2023

本文介绍了一种新的模型基础的安全增强学习技术 Probabilistic Logic Policy Gradient (PLPG)，该技术使用概率逻辑编程将逻辑安全约束建模为可微分函数，可以与任何策略梯度算法无缝集成，同时提供相同的收敛保证，实验结果表明 PLPG 相比其他最新的防护技术具有更高的安全性和更高的回报。

Mar, 2023

本文介绍了自适应安全填充的概念以及如何在学习过程中确保安全性，该方法利用强化学习合成最优控制策略来满足固定的目标逻辑公式，有效平衡探索效率和安全性，并提供了理论最优性和学习算法收敛的保证，实验结果表明了该方法的良好性能。

Feb, 2020

在这篇论文中，我们提出了一种基于许可性的框架，用于处理安全性和屏蔽构建，并展示了其在三个标准强化学习应用中的有效性。

May, 2024

近年来，机器学习（ML）模型在各个领域取得了显著的成功，然而这些模型也倾向于表现出不安全的行为，这限制了它们在安全关键系统中的部署。为了解决这个问题，许多研究集中在开发能够保证给定 ML 模型的安全行为的方法。其中一个突出的例子是屏蔽，它包含一个外部组件（“屏蔽器”）用于阻止不需要的行为。尽管取得了相当大的进展，但屏蔽仍然存在一个主要问题：它目前只适用于命题逻辑（例如 LTL）编码的属性，对于更丰富的逻辑来说是不合适的。因此，这限制了屏蔽在许多真实世界系统中的广泛适用性。在这项工作中，我们填补了这个空白，并将屏蔽扩展到 LTL 模理论，借助最近在反应合成模理论方面的进展。这使我们能够开发一种在这种更具表达性的逻辑中生成符合复杂安全规范的屏蔽器的新方法。我们评估了我们的屏蔽器，并展示了它们处理具有时间动态的丰富数据的能力。据我们所知，这是第一个为这种表达方式合成屏蔽器的方法。

Jun, 2024

该论文提出了一种基于模型的动态屏蔽（MBDS）方法来支持多智能体强化学习算法设计，同时在强化学习和部署阶段实现形式化安全性保证。该算法合成分布式屏蔽，可以在与每个 MARL 代理并行运行的情况下监视和纠正不安全行为，从而实现对多智能体复杂环境的有效监控，并具有强有力的安全性保证。

Apr, 2023

本研究提出两种安全性保障方法，并对多智能体强化学习进行了实验验证。结果表明，这两种方法可以在不损害智能体学习质量的情况下保证其安全，其中，基于因式分解的屏蔽方法在智能体数量上更具可扩展性。

Jan, 2021

通过整合形式验证和概率验证工具，将输入域划分为安全和不安全区域，通过聚类和符号表示过程对不安全区域进行压缩，从而在（潜在的）不安全区域高效地临时激活防护，显著减少运行时开销并保持形式安全保证。

Jun, 2024

该论文提出针对物理环境中智能体输入和输出信号延迟问题的合成算法，用于计算延迟鲁棒盾牌，以保证机器人在自动驾驶的环境下的安全执行，并在实际驾驶模拟器中验证实现效果。

Jul, 2023