Jan, 2013

搜索有限策略空间求解 POMDPs

PDF
TL;DR本文研究部分可观察马尔可夫决策过程（POMDPs）的解决方案，探讨如何从有限状态自动机的限制集合中找到最佳策略，进而展示了通过分支定界法和梯度上升法寻找全局最优确定性策略和局部最优随机策略的优越实验结果。
partially observable markov decision processesfinite state automataoptimal policybranch-and-bound methodgradient-ascent method
发现论文，激发创造
  • 具有随时确定性保证的在线 POMDP 规划

    通过简化解决方案与理论上最优解之间的确定性关系，解决了在计算上昂贵的部分可观测马尔可夫决策过程（POMDPs）困难，为自主代理在不完全信息环境下的规划提供了确定性界限。

    Oct, 2023

  • 无记忆随机策略优化在无限时域 POMDP 中的几何

    本研究考虑了有限状态和动作空间的无穷时部分观察到的马尔可夫决策问题中，根据折扣或平均收益准则找到最佳的无记忆随机策略并描述了优化问题作为可行状态 - 动作频率空间中的线性优化问题并使用了多项式优化的最大化奖励来解决导航问题。

    Oct, 2021

  • POMDP 的在线规划算法

    本文介绍了一些基于在线方法的局部政策计算的 POMDP 方法，并在各种环境下对这些方法进行了评估，结果表明现代的启发式搜索方法能够高效地处理大型 POMDP 领域。

    Jan, 2014

  • 通过信念压缩寻找近似的 POMDP 解决方案

    该研究提出了一种用于解决大型部分观察马尔可夫决策过程（POMDPs）的算法，通过降低置信度空间的维度来进行策略逼近，其中采用了指数族主成分分析方法，并且该算法成功地应用于合成问题和移动机器人导航任务中。

    Jun, 2011

  • 线性规划方法求解约束部分可观测的马尔可夫决策过程

    使用 LP 模型结合基于网格的近似方法生成近似策略，研究了解决限制观测 Markov 决策过程的效果。结果表明，LP 模型可有效地生成有限和无限时间段问题的近似策略，同时提供将各种附加约束集成到模型中的灵活性。

    Jun, 2022

  • 不确定性下的风险规避规划

    本文提出基于有限状态控制器的有界策略迭代方法，通过标准的凸优化算法设计出完全风险规避的 POMDP 最优策略，并针对给定的记忆预算和优化指标对控制器进行修改以减小一致风险。

    Sep, 2019

  • PEGASUS：用于大型 MDPs 和 POMDPs 的策略搜索方法

    在马尔可夫决策过程 (MDP) 或部分可观测马尔可夫决策过程 (POMDP) 中搜索策略的问题上，我们提出了一种新的方法，即通过将（PO）MDP 换成一个 “等价” 的 POMDP，其中所有状态转换都是确定性的，然后通过搜索价值最高的策略来进行策略搜索，该方法适用于任意 POMDP 并且已经在自行车学习问题上进行了实证。

    Jan, 2013

  • 通过线性规划对偶解决大规模马尔可夫决策问题

    本文提出了一种针对状态空间较大的 MDP 问题进行优化的方法，该方法基于一小组策略的占用度量的低维度逼近，并提出了一个有效的算法，可用于在该类策略中找到低过度损失相对于最佳策略的策略。作者限定了平均成本和折扣成本情况下的过量损失，并在队列应用中展示了该方法的有效性。

    Jan, 2019

  • 带有部分后见状态信息的 POMDP 在 RL 中的理论难度与可解性

    本文研究部分可观察马尔科夫决策过程（POMDP），发现除非我们拥有完整的后见状态信息，否则需要指数级的样本复杂度才能实现对 POMDP 的一个 ε- 最优策略解，但有部分 POMDP 分类情况下，其状态信息是足够的，本文提出了新的算法并证实这些算法是近似最优解。

    Jun, 2023

  • 分散式控制马尔可夫决策过程的复杂性

    探讨了具有部分状态信息的分布式智能体的规划问题，介绍了对 MDP 和 POMDP 模型的推广，研究表明分散控制与集中控制在马尔可夫过程中的根本差异，相关问题不适合使用多项式时间算法来求解，需要使用双指数时间算法求解。

    Jan, 2013