Mar, 2012

动态、部分已知环境下的概率系统控制与时间逻辑规格

PDF
TL;DR针对由马尔可夫决策过程建模的概率系统，考虑在部分已知环境下综合控制策略，环境由一组马尔可夫链建模，其中每个马尔可夫链描述了环境的不同模式，但环境的模式对于系统是未知的。控制目标为最大化系统满足给定规范的期望概率和最大化最坏情况下满足规范的概率。
发现论文，激发创造
  • 逻辑约束部分可观测多智能体马尔科夫决策过程的最优控制

    本文讲述了一种基于特定约束的自主系统与多智能体的优化控制方法，以实现其最大化收益并同时满足时间逻辑约束的概率足够高。

    May, 2023

  • 在时间逻辑约束下的大致近似正确的 MDP 学习与控制

    此篇论文探讨了在未知、随机环境中，通过建立模型、构造符合某些临时逻辑规则要求的 MDP，并通过 PAC-MDP 的方法，利用数据、空间和时间进行迭代更新，得到了一个在一定条件下接近最优的策略，从而达到在给定规则下最大化概率的目的。

    Apr, 2014

  • 不确定环境下带概率满足保证的 LTL 控制

    本文提出了一种使用线性时态逻辑公式生成机器人控制策略的方法，重点考虑了噪声传感器和执行器带来的影响，将其转换为马尔可夫决策过程来解决，包括案例分析。

    Apr, 2011

  • 强化学习用于具有概率满足保证的时间逻辑控制合成

    本研究提出一种基于强化学习的控制策略综合算法，用于最大化满足作为线性时序逻辑公式给出的高级控制目标的概率。该算法将 LTL 规范转换为限制性确定布琦自动机，再与具有不确定工作空间特性、结构和智能体行为的 PL-MDP 合并进行训练，从而生成满足概率的最大值。

    Sep, 2019

  • 一种基于学习的方法，用于控制合成线性时间逻辑规范的马尔可夫决策过程

    使用学习理论中的技术，通过构建包含确定性 Rabin 自动机的乘积 MDP，其奖励函数来源于 Rabin 自动机的接受条件，即可合成满足线性时态逻辑（LTL）规范的控制策略，该方法在交通控制案例研究中证明可以产生合理的控制策略，即使无法保证满足 LTL 规范。

    Sep, 2014

  • 机器人应用中基于时间逻辑规范的 POMDP 定性分析

    本文探讨了具有标准框架的 POMDPs，以模拟现实世界中存在的不确定性，以及时间逻辑规范。我们研究了帕里目标下的 POMDP 定性分析问题，该问题在理论上难以计算，但我们提出了解决该问题的实用方法，并在许多机器人应用的已知示例中使用了我们的实现。

    Sep, 2014

  • 基于优先级偏好的概率化时态逻辑规划

    本文利用标记的马尔可夫决策过程研究在有多个时间目标的用户偏好下的概率环境中的时间规划。提出了一种新的优先定性选择线性时间逻辑的规范语言，通过对有限的轨迹进行优先排序的连接和有序分离，使得可以简洁地指定每个时间任务的相应优先级。利用该计算模型，提出了一种计算最优策略的问题，该策略以最小化用户偏好的期望不满意度分数为目标。在几个案例研究中，我们演示了该逻辑和算法的有效性和适用性，并对每个案例进行了详细分析。

    Apr, 2023

  • 带有线性时态逻辑规约的 POMDPs 的随机有限状态控制

    本研究提出了一种基于 POMDPs 的任意时间算法，通过在线性时态逻辑（LTL）清单约束条件下最大化满足概率来合成次优随机有限状态控制器（sFSCs），并通过机器人导航案例研究表明了该方法的有效性。

    Jan, 2020

  • 部分可观察马尔可夫决策过程的基于点的模型检验方法

    提出了一种在部分可观察的马尔可夫决策过程（POMDP）中实现满足线性时间逻辑公式的策略的方法，该方法使用基于点的价值迭代方法来高效地近似满足所需逻辑公式的最大概率，并计算相应的置信状态策略。证明该方法适用于大型 POMDP 领域，并为最终策略的性能提供了强大的边界。

    Jan, 2020

  • 概率模型检查和自主性

    本文综述了概率模型检测在 PRISM 和 PRISM-games 模型检查器支持下的可观测和不可观测马尔可夫决策过程、顺序和并发随机博弈以及相关概率时态逻辑，以及其在自主系统中的应用，并探讨了未来研究方向和挑战。

    Nov, 2021