Mar, 2024

安全和稳健的强化学习：原理和实践

PDF
TL;DR通过综述方法与开放问题对最近几年来 RL 的安全和稳健性的相关研究工作进行总结，本文主要关注 RL 系统在现实场景中的安全性和稳健性挑战，探讨了算法、伦理和实践考虑等方面的主要维度以及如何增强 RL 代理的安全性和稳健性，同时讨论了环境因素和人的参与等影响因素，最后提出了一个实用的检查清单，以帮助从业者在各个应用领域负责任地部署 RL 系统。
reinforcement learningsafe and robustalgorithmic approachesenvironmental factorspractical checklist
发现论文，激发创造
  • 安全强化学习综述：方法、理论与应用

    该论文从方法、理论和应用的角度回顾了安全强化学习的进展，提出了 “2H3W” 问题并分析了解决这些问题的理论和算法进展；还讨论了安全强化学习方法的样本复杂度，并介绍了相关应用和基准，最后开启了安全强化学习中的挑战问题的讨论并发布了一个包含主要安全强化学习算法实现和教程的基准套件。

    May, 2022

  • 学习保证安全：带安全评论家的深度强化学习

    为了将 RL 算法部署到实际场景中并在学习过程中确保安全性，我们提出了使用转移学习方法学习在一个任务环境中如何保持安全性，然后将所学用于约束在学习新任务时的行为，此方法在三个具有挑战性的领域中实证，相比于标准的深度 RL 技术和以前的安全 RL 方法，我们的方法不但减少了安全事故，还提高了学习的速度和稳定性。

    Oct, 2020

  • 具有双重鲁棒性的安全强化学习

    提出了一个系统的框架来统一安全强化学习和鲁棒强化学习的问题，包括问题的形式化、迭代方案、收敛性分析和实际算法设计。该框架建立在有约束的两人零和马尔可夫博弈上，提出了一种双重策略迭代方案，同时优化任务策略和安全策略。证明了该迭代方案的收敛性。此外，还设计了一种用于实际实现的深度强化学习算法，称为 DRAC。安全关键的基准评估表明，DRAC 在所有情景下（无对手、安全对手、性能对手）实现了高性能和持续的安全性，并且明显优于所有基准线。

    Sep, 2023

  • 机器人中的安全学习：从基于学习的控制到安全强化学习

    本文综述了机器学习在实现安全决策方面的最新进展，并重点介绍了控制理论和强化学习研究中使用的语言和框架。文章讨论了学习控制方法、强化学习方法和可正式证明学习控制策略安全性的方法，并强调了在近距离与人类操作时安全性至关重要。此外，作者还强调了未来机器人学习研究中需要解决的一些挑战，以及促进控制和强化学习方法公平比较的基于物理的基准测试。

    Aug, 2021

  • 具有稳定性保证的安全基于模型的强化学习

    该论文提出了一种考虑安全性的学习算法，利用 Lyapunov 稳定性检验的控制理论结果和动力学统计模型，得到具备可证明稳定性证书的高性能控制策略，并通过高斯过程先验进一步保证数据安全性和提高控制性能。在反演摆模拟实验中表现出安全性高、控制性能良好的特点。

    May, 2017

  • OmniSafe：用于加速安全强化学习研究的基础设施

    本篇论文给出一个基础性安全强化学习框架，拥有不同领域跨越的一系列算法和重要的安全元素，以便更有效地研究 AI 安全和 SafeRL 算法实现。

    May, 2023

  • 针对对抗性干扰的坚固安全强化学习

    该论文提出了一种鲁棒安全强化学习框架，解决了在真实控制任务中应用强化学习时外部干扰的安全性问题，该框架通过建立鲁棒不变集合来保证安全，并采用约束强化学习算法进行策略优化。

    Oct, 2023

  • 强化学习中的风险建模：一项文献综述

    通过系统文献绘图来描述安全强化学习中的风险类型和多个应用领域，为未来安全强化学习研究提供详细的风险账户。

    Dec, 2023

  • 一种人性化安全的机器人强化学习框架，具有交互行为

    本文提出人机协作的安全机器强化学习框架，包含安全探索，安全价值对齐，以及安全协作三个阶段，并探讨了机器强化学习中交互行为的四个技术挑战。

    Feb, 2023

  • 仿真机器人臂的安全强化学习

    通过在 Panda 机械臂创建自定义环境，扩展安全强化学习算法的适用性，并通过与基准版本的比较表明，在满足安全约束条件的同时，受限版本能够学习到同样好的策略，但需要更长的训练时间。

    Nov, 2023