Oct, 2023

在线随机情况规划的展开策略

PDF
TL;DR部分可观察马尔可夫决策过程 (POMDP) 是在部分可观察性和随机行为下进行决策的有用模型。本文将 POMDP 建模为随机条件规划问题，并提出了两种领域独立的启发式算法，一种基于经典规划中著名的 h_add 启发式算法，另一种在信念空间中计算并考虑信息价值。
partially observable markov decision processesmonte-carlo planningheuristicsstochastic contingent planning problemsdomain-independent heuristics
发现论文，激发创造
  • POMDP 的在线规划算法

    本文介绍了一些基于在线方法的局部政策计算的 POMDP 方法，并在各种环境下对这些方法进行了评估，结果表明现代的启发式搜索方法能够高效地处理大型 POMDP 领域。

    Jan, 2014

  • 具有随时确定性保证的在线 POMDP 规划

    通过简化解决方案与理论上最优解之间的确定性关系，解决了在计算上昂贵的部分可观测马尔可夫决策过程（POMDPs）困难，为自主代理在不完全信息环境下的规划提供了确定性界限。

    Oct, 2023

  • CAR-DESPOT: 机器人在混杂环境中基于因果推断的在线 POMDP 规划

    本文提出了使用因果建模和推理的新型持续时间在线部分可观测树规划器的因果知情扩展，以消除未测量混淆变量所引起的误差。同时，我们提出了一种离线学习因果模型的方法，用于规划。我们在一个具有未观察到混淆因素的玩具问题上评估了我们的方法，并表明所学习的因果模型非常准确，而我们的规划方法比 AR-DESPOT 更加抗干扰，并产生更高性能的策略。

    Apr, 2023

  • 部分可观察马尔可夫决策过程的值函数逼近

    本文介绍了部分可观测马尔可夫决策过程 (POMDP) 的近似（启发式）方法，研究其性质和关系，并提供一些新见解。该理论结果在代理导航领域的问题上得到了实验支持。

    Jun, 2011

  • 混合信念 POMDP 中的蒙特卡罗规划

    本文介绍了 Hybrid Belief Monte Carlo Planning (HB-MCP) 算法，利用 Monte Carlo Tree Search (MCTS) 算法来解决部分可观测马尔科夫决策过程 (POMDP) 问题，同时维护混合信念。研究者采用上置信区间 (UCB) 探索奖励来结合概率分布树和信任度分布树，以引导假设树的增长，同时在解决未解决数据关联问题的高度别名模拟环境中评估了该方法的有效性。

    Nov, 2022

  • POMDP 中的策略指导的逻辑规范学习：归纳逻辑编程方法

    从 POMDP 执行的痕迹中学习得到高质量的启发式方法，通过转换为逻辑语义并利用数据和时间高效的归纳逻辑编程生成可解释的基于信念的策略规范，以在线方式引导 POMDP 求解器的行动选择过程。使用 Answer Set Programming (ASP) 表达的学习启发式方法展现了性能优于神经网络且与最佳手工设计的任务特定启发式方法相当的特点。

    Feb, 2024

  • 面向不确定性的机器人强鲁棒规划中的 POMDP-lite

    本文介绍了一种子类部分可观察马尔可夫决策过程 (POMDP), 即 POMDP-lite， 使用该方法解决机器人任务时计算复杂度减小，我们开发了一种基于贝叶斯强化学习算法来解决 POMDP-lite 模型，效果优于当前最先进的 POMDP 算法且在适当条件下该算法接近贝叶斯最优。

    Feb, 2016

  • 约束层次蒙特卡罗信念状态规划

    优化在约束部分可观察马尔可夫决策过程中的规划，使用层次分解和在线基于搜索的约束选项信念树搜索算法来扩展大型机器人领域中的规划问题。

    Oct, 2023

  • 安全的 POMDP 在线规划方法之护盾技术

    本文研究如何通过引入安全限制来解决部分可观察的马尔可夫决策过程（POMDPs）中的不确定性问题，其中通过计算和整合防护盾到在线规划算法（POMCP）中以确保安全性。实验结果表明，该方法在大型 POMDPs 中成功地保证了安全性，并对在线规划的运行时间几乎没有影响。

    Sep, 2023

  • 递归约束偏观测马尔可夫决策过程

    通过引入新的限制性、历史依赖成本约束的递归约束部分可观察马尔可夫决策问题 (RC-POMDP)，本文解决了常规约束部分可观察马尔可夫决策问题 (C-POMDP) 中存在的问题，并提出了一个基于点的动态规划算法来寻找 RC-POMDP 的最优策略。实验证明，相比于 C-POMDP 的策略，RC-POMDP 的策略具有更好的行为，并展示了算法在一组基准问题上的有效性。

    Oct, 2023