AAAIJan, 2020

部分可观察马尔可夫决策过程的基于点的模型检验方法

PDF
TL;DR提出了一种在部分可观察的马尔可夫决策过程（POMDP）中实现满足线性时间逻辑公式的策略的方法，该方法使用基于点的价值迭代方法来高效地近似满足所需逻辑公式的最大概率，并计算相应的置信状态策略。证明该方法适用于大型 POMDP 领域，并为最终策略的性能提供了强大的边界。
发现论文，激发创造
  • 部分可观察马尔可夫决策过程的值函数逼近

    本文介绍了部分可观测马尔可夫决策过程 (POMDP) 的近似（启发式）方法，研究其性质和关系，并提供一些新见解。该理论结果在代理导航领域的问题上得到了实验支持。

    Jun, 2011

  • 逻辑约束部分可观测多智能体马尔科夫决策过程的最优控制

    本文讲述了一种基于特定约束的自主系统与多智能体的优化控制方法，以实现其最大化收益并同时满足时间逻辑约束的概率足够高。

    May, 2023

  • 大规模 POMDP 的即时点估计近似

    介绍了一种名为 PBVI 的基于点值备份策略的实时部分可观测的马可夫决策过程，该策略通过选择信息信念点提高了算法效率，同时在标准的 POMDP 域和现实机器人任务中进行了实验评估。

    Sep, 2011

  • 朝着在 POMDP 中使用完全可观察策略

    本文提出了基于多模式信念的偏差可观察马尔可夫决策过程 (POMDP) 的解决方法，该方法基于全可观察版本的策略，并定义了一个基于价值函数的混合值函数，可以使用相应的贪心策略解决 POMDP。作者发展了必要的数学框架，并介绍了在 Reconnaissance Blind TicTacToe 任务上建立的基准测试。在此基准测试中，我们展示了多模式策略胜过忽略多模式存在的策略。

    Jul, 2022

  • 多智能体场景下的序列规划框架

    本研究在部分可观察马尔可夫决策过程 (POMDPs) 的基础上，将代理模型纳入到状态空间中，使其扩展到了多智能体的情景下。代理人通过贝叶斯更新来维护对物理环境状态和其他代理模型的信念，并使用基于置信状态的映射来求得最优方案。虽然我们的方法中代理人的模型不可直接被操纵或观察，但我们证明了 POMDPs 的重要特性如收敛率、价值函数的分段线性和凸性等在我们的框架下仍然成立。

    Sep, 2011

  • 具有随时确定性保证的在线 POMDP 规划

    通过简化解决方案与理论上最优解之间的确定性关系，解决了在计算上昂贵的部分可观测马尔可夫决策过程（POMDPs）困难，为自主代理在不完全信息环境下的规划提供了确定性界限。

    Oct, 2023

  • 机器人应用中基于时间逻辑规范的 POMDP 定性分析

    本文探讨了具有标准框架的 POMDPs，以模拟现实世界中存在的不确定性，以及时间逻辑规范。我们研究了帕里目标下的 POMDP 定性分析问题，该问题在理论上难以计算，但我们提出了解决该问题的实用方法，并在许多机器人应用的已知示例中使用了我们的实现。

    Sep, 2014

  • 连续时间 POMDP 的近似控制

    该研究提出了一个用于具有离散状态和动作空间的连续时间的部分可观察系统的决策框架。通过近似方法来处理大状态空间下的最优决策问题，其中高维过滤分布通过投影到参数化分布族进行了近似，结合完全可观察系统的控制启发式方法获得了可扩展的策略。在多个部分观测系统上，包括队列系统和化学反应网络，验证了该方法的有效性。

    Feb, 2024

  • 带有线性时态逻辑规约的 POMDPs 的随机有限状态控制

    本研究提出了一种基于 POMDPs 的任意时间算法，通过在线性时态逻辑（LTL）清单约束条件下最大化满足概率来合成次优随机有限状态控制器（sFSCs），并通过机器人导航案例研究表明了该方法的有效性。

    Jan, 2020

  • POMDP 的粒子信念逼近的最优性保证

    本文提出了利用基于粒子滤波置信转移模型的有限样本粒子置信 MDP 近似解决 POMDP 的方法。在五个基准 POMDP 实验中，与其他领先的连续观察 POMDP 求解器相比，表明这种方法可以实现与其他领先的连续观察 POMDP 求解器竞争力的表现。

    Oct, 2022