Feb, 2024

利用近似模型防护在连续环境中实现概率安全保证

PDF
TL;DR本文介绍了在连续环境中实现安全强化学习的方法，使用了适用于连续环境的近似基于模型的屏蔽 (AMBS) 框架，并提出了两种新的惩罚技术来改进策略梯度的稳定收敛性。
shieldingsafe reinforcement learningapproximate model-based shieldingcontinuous settingconstrained rl algorithms
发现论文，激发创造
  • 近似基于模型的安全强化学习护盾

    我们提出了近似基于模型的屏蔽算法，用于验证学习强化学习策略相对于给定安全约束的性能，与其他安全感知方法相比，在一组具有状态相关安全标签的 Atari 游戏上表现出卓越的性能。

    Jul, 2023

  • 安全探索的 Atari 代理人的近似屏蔽

    研究探讨如何在强化学习中实现安全探索，提出了一种基于 latent shielding 的算法，能有效减少安全违规率并提高最终代理的收敛速度和质量。

    Apr, 2023

  • 部分可观测情况下的屏蔽防护强化学习

    研究了强化学习中的安全探索问题，提出了一种叫做 shield 的方法来确保代理人只进行安全的操作，并深度结合使用 state-of-the-art deep RL 来提高 RL 代理人的性能，实验证明这种方法可以提高收敛速度和最终表现，并可用于引导 state-of-the-art RL 代理人。

    Apr, 2022

  • 混合系统的护盾强化学习

    通过使用所谓的野蛮方法，本文提出了构建障碍盾牌的方法，通过系统地选择真实转移函数的样本，以提取基于分区的双人安全游戏的近似有限表示。尽管难以达到严格的安全保证，但我们通过原型实现和 UPPAAL STRATEGO 实验证明了强大的统计安全保证，进一步研究了障碍盾牌的合成对控制器学习前和后应用的影响，并在一系列案例研究中应用了我们的技术。

    Aug, 2023

  • 自适应屏蔽在黑盒环境中的安全强化学习

    在训练过程中，通过使用一种名为 ADVICE 的自适应屏蔽技术，可以识别出状态 - 动作对的安全和不安全特征，从而保护强化学习代理避免执行可能产生危险结果的动作，有效降低安全违规风险。

    May, 2024

  • MAMPS: 模型预测屏蔽在多智能体强化学习中的应用

    提出了一种多智能体模型预测屏蔽算法 (MAMPS)，用于处理复杂的多智能体机器人任务，通过备选策略来保证该问题的安全性，并在多智能体仿真环境中进行了验证。

    Oct, 2019

  • 通过概率逻辑屏障实现安全的强化学习

    本文介绍了一种新的模型基础的安全增强学习技术 Probabilistic Logic Policy Gradient (PLPG)，该技术使用概率逻辑编程将逻辑安全约束建模为可微分函数，可以与任何策略梯度算法无缝集成，同时提供相同的收敛保证，实验结果表明 PLPG 相比其他最新的防护技术具有更高的安全性和更高的回报。

    Mar, 2023

  • 通过屏蔽实现安全的多智能体强化学习

    本研究提出两种安全性保障方法，并对多智能体强化学习进行了实验验证。结果表明，这两种方法可以在不损害智能体学习质量的情况下保证其安全，其中，基于因式分解的屏蔽方法在智能体数量上更具可扩展性。

    Jan, 2021

  • 基于模型的动态屏蔽技术，用于安全高效的多智能体强化学习

    该论文提出了一种基于模型的动态屏蔽（MBDS）方法来支持多智能体强化学习算法设计，同时在强化学习和部署阶段实现形式化安全性保证。该算法合成分布式屏蔽，可以在与每个 MARL 代理并行运行的情况下监视和纠正不安全行为，从而实现对多智能体复杂环境的有效监控，并具有强有力的安全性保证。

    Apr, 2023

  • 安全性通过可行性：快速而安全的强化学习的防护构建

    在这篇论文中，我们提出了一种基于许可性的框架，用于处理安全性和屏蔽构建，并展示了其在三个标准强化学习应用中的有效性。

    May, 2024