自适应屏蔽在黑盒环境中的安全强化学习

May, 2024

自适应屏蔽在黑盒环境中的安全强化学习

Safe Reinforcement Learning in Black-Box Environments via Adaptive Shielding

Daniel Bethell, Simos Gerasimou, Radu Calinescu, Calum Imrie

TL;DR在训练过程中，通过使用一种名为 ADVICE 的自适应屏蔽技术，可以识别出状态 - 动作对的安全和不安全特征，从而保护强化学习代理避免执行可能产生危险结果的动作，有效降低安全违规风险。

Abstract

Empowering safe exploration of reinforcement learning (RL) agents during training is a critical impediment towards deploying RL agents in many real-world scenarios. Training RL agents in unknown, black-box enviro

reinforcement learning safe exploration advice post-shielding technique state-action pairs

发现论文，激发创造

部分可观测情况下的屏蔽防护强化学习

研究了强化学习中的安全探索问题，提出了一种叫做 shield 的方法来确保代理人只进行安全的操作，并深度结合使用 state-of-the-art deep RL 来提高 RL 代理人的性能，实验证明这种方法可以提高收敛速度和最终表现，并可用于引导 state-of-the-art RL 代理人。

Apr, 2022

安全探索的 Atari 代理人的近似屏蔽

研究探讨如何在强化学习中实现安全探索，提出了一种基于 latent shielding 的算法，能有效减少安全违规率并提高最终代理的收敛速度和质量。

Apr, 2023

安全性通过可行性：快速而安全的强化学习的防护构建

在这篇论文中，我们提出了一种基于许可性的框架，用于处理安全性和屏蔽构建，并展示了其在三个标准强化学习应用中的有效性。

May, 2024

对比风险预测下的安全强化学习

提出一种针对强化学习任务的风险预防训练方法，基于统计对比分类器，以预测状态 - 动作对导致不安全状态的概率，并且通过收集风险预防轨迹和重塑奖励函数，来引导安全强化学习策略。在机器人仿真环境中进行实验，结果表明该方法与现有的模型模式方法的表现相当，且优于传统的模型自由的安全强化学习方法。

Sep, 2022

引导安全探索的强化学习

安全是扩展强化学习应用的关键。我们提出了一种约束无奖励强化学习方法，通过在受控环境中训练引导智能体以安全探索，最终实现有效的安全传输学习，帮助学生机器人更快地解决目标任务。

Jul, 2023

近似基于模型的安全强化学习护盾

我们提出了近似基于模型的屏蔽算法，用于验证学习强化学习策略相对于给定安全约束的性能，与其他安全感知方法相比，在一组具有状态相关安全标签的 Atari 游戏上表现出卓越的性能。

Jul, 2023

通过屏蔽实现安全的多智能体强化学习

本研究提出两种安全性保障方法，并对多智能体强化学习进行了实验验证。结果表明，这两种方法可以在不损害智能体学习质量的情况下保证其安全，其中，基于因式分解的屏蔽方法在智能体数量上更具可扩展性。

Jan, 2021

通过屏蔽技术实现安全强化学习

该论文介绍了一种基于时间逻辑表达的安全性要求，用反应系统来指导强化学习算法的政策优化过程，保证学习和执行阶段的安全性。实验表明该方法在多种场景下具有通用性。

Aug, 2017

基于强化学习的自我改进安全驾驶性能与黑盒验证算法

提出了一种自我完善的人工智能系统，通过黑盒验证方法，增强基于强化学习的自主驾驶代理的安全性能。在发现自动驾驶失败情况后，RL 代理的训练通过迁移学习重新初始化，以改善先前不安全的情况的表现

Oct, 2022

混合系统的护盾强化学习

通过使用所谓的野蛮方法，本文提出了构建障碍盾牌的方法，通过系统地选择真实转移函数的样本，以提取基于分区的双人安全游戏的近似有限表示。尽管难以达到严格的安全保证，但我们通过原型实现和 UPPAAL STRATEGO 实验证明了强大的统计安全保证，进一步研究了障碍盾牌的合成对控制器学习前和后应用的影响，并在一系列案例研究中应用了我们的技术。

Aug, 2023