利用高斯过程进行有限马尔可夫决策过程的安全探索

Jun, 2016

利用高斯过程进行有限马尔可夫决策过程的安全探索

Safe Exploration in Finite Markov Decision Processes with Gaussian Processes

Matteo Turchetta, Felix Berkenkamp, Andreas Krause

TL;DR本文提出针对有安全限制的探索问题的新型算法，使用高斯过程先验来表达未知安全限制，具有积极探索安全状态和行为、同时考虑到可达性并能够完全探索可达状态的能力。演示实验使用机器人探索数字地形模型。

Abstract

In classical reinforcement learning, when exploring an environment, agents accept arbitrary short term loss for long term gain. This is infeasible for safety critical applications, such as robotics, where even a

reinforcement learning markov decision processes safety gaussian process prior exploration

发现论文，激发创造

马尔可夫决策过程中的安全探索

本文提出了一种基于安全的强化学习探索方法，通过限制注意力在一组安全的最小子集中，实现安全探索策略的优化，该方法在以前提出的大多数探索方法中可兼容，并在火星地形探索问题中得到了验证。

May, 2012

马尔科夫决策过程的安全约束强化学习

该论文研究了针对随机和部分未知环境下控制器综合的相关问题，并提出了一种基于安全的 Markov 决策过程的解决方案，并利用迭代学习过程来实现安全性和最优性的权衡。

Oct, 2015

具有未知转移模型的确定性马尔可夫决策过程中高效安全的探索

本文提出一种基于 Lipschitz 连续性的确定性马尔可夫决策过程未知转移模型的安全探索算法，该算法通过优化减少探索安全空间所需的操作数量，并在导航任务的仿真中与基线方法进行了性能比较。

Apr, 2019

受限马尔可夫决策过程中安全的强化学习

该研究提出了一种名为 SNO-MDP 的算法，它可以在未知安全约束条件下探索和优化马尔可夫决策过程，通过扩展安全区域来学习安全约束条件，进而在已认证的安全区域内优化累积奖励。通过两个实验展示了该算法的有效性。

Aug, 2020

通过原始 - 对偶方法实现强化学习的安全策略

研究控制一个在运作时间内有高概率保持期望安全集合的 Markov 决策过程的学习问题，使用一种约束的 Markov 决策过程来处理，通过提出一种问题的差分松弛方法，使得有最优安全保障的策略能够被发现。

Nov, 2019

具有随机停止时间的约束马尔可夫决策过程的安全增强学习

我们提出了一种基于在线强化学习算法的约束马尔可夫决策过程，其中包含一个安全约束。通过线性规划算法，我们演示了学习到的策略在很高的置信度下是安全的。我们还提出了计算安全基准策略的方法，并演示了该算法的有效性。同时，我们通过定义状态空间的子集，称为代理集，实现了高效的探索。

Mar, 2024

存在干扰下的强化学习安全探索方法

提出了一种安全探索方法，该方法利用受控对象和干扰的部分先前知识，以确保满足特定的状态约束条件，即使受控对象暴露于遵循正常分布的随机干扰下。

Sep, 2022

交互式机器学习的安全探索

该论文提出了一个新的 Interactive Machine Learning 算法，通过一个基于高斯过程先验的框架来避免不安全的决策并优化决策效率，应用到安全贝叶斯优化和安全的 deterministic Markov Decision Processes 中，实验证明该算法优于其他算法。

Oct, 2019

强化学习用于带有动作约束的任务规定

本文运用离散事件系统监控控制理论的概念，提出一种方法用于在有限状态的马尔可夫决策过程中，学习最优控制策略，并利用奖励机器的发展来处理状态限制。通过给定一个例子来阐明其应用性并在此设置中展示了仿真结果。

Jan, 2022

非线性系统的安全保证探索

使用最优控制提出新的安全保证的探索框架，其中包括对于非线性系统的有限时间样本复杂度边界下的保证的探索，具有任意高概率的可靠性和安全性，在复杂的非线性动态和未知领域的许多实际情景中具备一般性和适用性。

Feb, 2024