IJCAIJan, 2022

具有自我改进模拟器的 POMDP 在线规划

PDF
TL;DR本文介绍了一种基于在线学习的、可提高计划的效率的方法，该方法通过自适应决策确定使用哪个模拟器，以实现计划过程中的精度与速度之间的平衡。实验结果表明，该方法在两个大领域中与 POMCP 集成后可以使计划效率得到提高。
planningsimulator learningefficiencypomcpadaptive decision-making
发现论文，激发创造
  • POMDP 的在线规划算法

    本文介绍了一些基于在线方法的局部政策计算的 POMDP 方法，并在各种环境下对这些方法进行了评估，结果表明现代的启发式搜索方法能够高效地处理大型 POMDP 领域。

    Jan, 2014

  • 具有随时确定性保证的在线 POMDP 规划

    通过简化解决方案与理论上最优解之间的确定性关系，解决了在计算上昂贵的部分可观测马尔可夫决策过程（POMDPs）困难，为自主代理在不完全信息环境下的规划提供了确定性界限。

    Oct, 2023

  • 基于前向仿真的机器人探索规划

    本研究针对部分已知环境探索问题，以信息论目标函数为目标，将其视为部分可观察马尔可夫决策过程 (POMDP)，并通过 open-loop 逼近算法求解。提出了新的互信息采样逼近方法用于移动机器人，结果显示 POMDP 探索算法在某些情况下可以提高性能。

    Feb, 2015

  • 众多智能体 POMDP 中的分解式在线规划

    在集中式多智能体系统中，使用多智能体部分可观察马尔可夫决策过程（MPOMDPs）进行建模，其中动作和观察空间随着智能体数量呈指数增长，使得单智能体在线规划的价值和信念状态估计变得低效。本研究采用加权粒子滤波和可扩展的信念状态近似方法，同时解决了价值估计和状态估计的挑战，提出了基于稀疏粒子滤波信念树的在线规划算法，该算法在少量智能体的情况下表现出竞争性的性能，并在多智能体的基准测试中胜过现有算法。

    Dec, 2023

  • BetaZero: 使用学习逼近的置信状态规划长时程 POMDPs

    介绍一种基于准确置信模型的 BetaZero 算法，该算法使用在线蒙特卡罗树搜索与线下神经网络逼近相结合的方法来实现长周期问题的在线决策，解决了部分可观测领域的挑战，并在地质勘探等现实任务中表现出色。

    May, 2023

  • 带拓展空间 POMDP 规划的人群意图感知导航

    本文提出了一种混合在线部分可观察马尔可夫决策过程规划系统，针对多模态不确定性对自主导航的影响。通过使用多查询运动规划和在线 POMDP 求解器，我们实现了更加灵活和高效的实时方法，从而更好地解决了密集人群和障碍物之间的自主导航问题，并获得了更高的安全性和效率。

    Jun, 2022

  • 用蒙特卡罗抽样方法逼近交互式 POMDP 模型

    本文讨论利用基于粒子滤波算法的互动蒙特卡洛树搜索算法来解决复杂互动式部分可观测 Markov 决策过程 (I-POMDPs) 中的信仰空间复杂度问题以及在构建前向搜索树时使用 “采样可能性最大的观测” 这一补充方法来缓解策略空间的复杂度，这两种方法结合使用可以有效提高 POMDPs 的解决效率和准确度，经过实验验证效果显著。

    Jan, 2014

  • 互动 POMDP Lite: 面向与自我利益相关的智能体互动的实用规划预测和利用意图

    研究智能代理与多代理系统中的规划算法，探索在预测其他代理人的意图的基础上构建的高效的意图感知规划框架，并通过一系列随机博弈的实验表明，该框架可以实现更好的和更稳健的性能。

    Apr, 2013

  • POMDP 中的策略指导的逻辑规范学习：归纳逻辑编程方法

    从 POMDP 执行的痕迹中学习得到高质量的启发式方法，通过转换为逻辑语义并利用数据和时间高效的归纳逻辑编程生成可解释的基于信念的策略规范，以在线方式引导 POMDP 求解器的行动选择过程。使用 Answer Set Programming (ASP) 表达的学习启发式方法展现了性能优于神经网络且与最佳手工设计的任务特定启发式方法相当的特点。

    Feb, 2024

  • POMP++：基于 POMCP 的未知室内环境主动视觉搜索

    本文提出了一种基于 POMP++ 的规划策略，实现了在未知环境中无需训练的在线策略学习，利用动态增长的状态空间解决了地板地图的在线生成问题，并在真实机器人平台和虚拟三维场景渲染数据集上取得了超过 10% 的性能提升。

    Jul, 2021