May, 2023

一个惊人简单的连续行为 POMDP 求解器：基于策略树的惰性交叉熵搜索

PDF
TL;DR本研究提出了一种名为 LCEOPT 的简单在线 POMDP 求解器，通过使用迭代更新策略的分布，从而能够更好地解决具有连续动作空间的问题。
partially observable markov decision processpomdplazy cross-entropy search over policy treesmonte carlo simulationcontinuous action spaces
发现论文，激发创造
  • 在线随机情况规划的展开策略

    部分可观察马尔可夫决策过程 (POMDP) 是在部分可观察性和随机行为下进行决策的有用模型。本文将 POMDP 建模为随机条件规划问题，并提出了两种领域独立的启发式算法，一种基于经典规划中著名的 h_add 启发式算法，另一种在信念空间中计算并考虑信息价值。

    Oct, 2023

  • 约束层次蒙特卡罗信念状态规划

    优化在约束部分可观察马尔可夫决策过程中的规划，使用层次分解和在线基于搜索的约束选项信念树搜索算法来扩展大型机器人领域中的规划问题。

    Oct, 2023

  • 搜索有限策略空间求解 POMDPs

    本文研究部分可观察马尔可夫决策过程（POMDPs）的解决方案，探讨如何从有限状态自动机的限制集合中找到最佳策略，进而展示了通过分支定界法和梯度上升法寻找全局最优确定性策略和局部最优随机策略的优越实验结果。

    Jan, 2013

  • 具有随时确定性保证的在线 POMDP 规划

    通过简化解决方案与理论上最优解之间的确定性关系，解决了在计算上昂贵的部分可观测马尔可夫决策过程（POMDPs）困难，为自主代理在不完全信息环境下的规划提供了确定性界限。

    Oct, 2023

  • 无记忆随机策略优化在无限时域 POMDP 中的几何

    本研究考虑了有限状态和动作空间的无穷时部分观察到的马尔可夫决策问题中，根据折扣或平均收益准则找到最佳的无记忆随机策略并描述了优化问题作为可行状态 - 动作频率空间中的线性优化问题并使用了多项式优化的最大化奖励来解决导航问题。

    Oct, 2021

  • 解决方案质量无任何妥协：通过自适应多层简化加速基于信念的连续 POMDPs

    基于置信度树和 MCTS 的自适应多层简化理论可加速连续 POMDP 在线规划，不损失解决方案质量。

    Oct, 2023

  • POMDP 的在线规划算法

    本文介绍了一些基于在线方法的局部政策计算的 POMDP 方法，并在各种环境下对这些方法进行了评估，结果表明现代的启发式搜索方法能够高效地处理大型 POMDP 领域。

    Jan, 2014

  • 线性规划方法求解约束部分可观测的马尔可夫决策过程

    使用 LP 模型结合基于网格的近似方法生成近似策略，研究了解决限制观测 Markov 决策过程的效果。结果表明，LP 模型可有效地生成有限和无限时间段问题的近似策略，同时提供将各种附加约束集成到模型中的灵活性。

    Jun, 2022

  • POMDP 中的策略指导的逻辑规范学习：归纳逻辑编程方法

    从 POMDP 执行的痕迹中学习得到高质量的启发式方法，通过转换为逻辑语义并利用数据和时间高效的归纳逻辑编程生成可解释的基于信念的策略规范，以在线方式引导 POMDP 求解器的行动选择过程。使用 Answer Set Programming (ASP) 表达的学习启发式方法展现了性能优于神经网络且与最佳手工设计的任务特定启发式方法相当的特点。

    Feb, 2024

  • DESPOT: 在线 POMDP 规划与正则化

    该研究提出了一种利用确定性稀疏部分可观察树 (DESPOT) 算法进行在线不确定性规划的方法，其通过随机采样场景来紧凑地捕获所有策略的执行，得到的最佳策略接近最优，并具有一定的遗憾，该算法已成功应用于实时汽车控制。

    Sep, 2016