AAAIMay, 2019

使用汤普森抽样的有限内存开环规划解决大规模 POMDP 问题

PDF
TL;DR提出了一种基于限制记忆的开环规划方法 —— 部分可观察堆叠 Thompson 采样（POSTS），用以解决大型 POMDP 问题中内存资源有限的问题，相较于传统的基于树的规划方法，该方法具有性能和内存之间的平衡，四个基准问题的实验表明 POSTS 具有较好的竞争表现。
partially observable planningpomcpthompson samplingmemory bounded approachperformance-memory tradeoff
发现论文，激发创造
  • 适应性汤普森抽样堆栈用于内存有限的开环规划

    提出一种名为 SYMBOL 的规划方法，该方法采用稳定但内存有限的方法处理部分可观测的开环规划，通过自适应使用 Thompson Sampling bandits 堆栈实现，适用于不需要先前领域知识和面向各种领域的问题，同时在四个大型 POMDP 基准问题中获得了良好的效果和稳健性能。

    Jul, 2019

  • 具有短期记忆的可证明强化学习

    本文研究如何学习部分可观察的马尔科夫决策过程。通过构造一种特殊的子类 POMDP，它的隐状态可以通过历史的近期记录来解码。我们使用新颖的瞬时匹配方法，并建立了一组在表格和丰富观察设置下，学习这类问题的近优策略的样本复杂性的上下界，并证明了短期记忆对于这些环境的强化学习已经足够。

    Feb, 2022

  • 具有随时确定性保证的在线 POMDP 规划

    通过简化解决方案与理论上最优解之间的确定性关系，解决了在计算上昂贵的部分可观测马尔可夫决策过程（POMDPs）困难，为自主代理在不完全信息环境下的规划提供了确定性界限。

    Oct, 2023

  • 约束层次蒙特卡罗信念状态规划

    优化在约束部分可观察马尔可夫决策过程中的规划，使用层次分解和在线基于搜索的约束选项信念树搜索算法来扩展大型机器人领域中的规划问题。

    Oct, 2023

  • 学习未知马尔可夫决策过程：一种汤普森抽样方法

    本文提出了一种基于贝叶斯的 Thompson Sampling 加持的动态时段算法 (TSDE)，尝试在无限的时间尺度内解决了一个学习未知 MDP 的问题，实现了很好的性能并达到了理论界限。

    Sep, 2017

  • 在线随机情况规划的展开策略

    部分可观察马尔可夫决策过程 (POMDP) 是在部分可观察性和随机行为下进行决策的有用模型。本文将 POMDP 建模为随机条件规划问题，并提出了两种领域独立的启发式算法，一种基于经典规划中著名的 h_add 启发式算法，另一种在信念空间中计算并考虑信息价值。

    Oct, 2023

  • 一种可证明有效的无模型后验采样方法，用于情节强化学习

    本文提出了一种新的模型无关后验采样的公式，适用于更广泛的周期性强化学习问题，并通过新颖的证明技术，展示了在适当条件下，我们的后验采样方法的最坏后果可以与基于优化的方法的最优结果相匹配，尤其是在线性 MDP 设置中，我们的算法产生的遗憾与现有基于后验采样的探索算法相比，随着维度线性增长而非二次依赖。

    Aug, 2022

  • 在部分可观察环境中，结合元政策和蒙特卡罗规划实现可扩展的基于类型的推理

    提出了一种基于类型推理的部分可观测元蒙特卡罗规划方法，在多智能体系统中实现对其他智能体的有效交互和长期规划，相比现有方法计算更快且能够得到更优解。

    Jun, 2023

  • 无记忆随机策略优化在无限时域 POMDP 中的几何

    本研究考虑了有限状态和动作空间的无穷时部分观察到的马尔可夫决策问题中，根据折扣或平均收益准则找到最佳的无记忆随机策略并描述了优化问题作为可行状态 - 动作频率空间中的线性优化问题并使用了多项式优化的最大化奖励来解决导航问题。

    Oct, 2021

  • BetaZero: 使用学习逼近的置信状态规划长时程 POMDPs

    介绍一种基于准确置信模型的 BetaZero 算法，该算法使用在线蒙特卡罗树搜索与线下神经网络逼近相结合的方法来实现长周期问题的在线决策，解决了部分可观测领域的挑战，并在地质勘探等现实任务中表现出色。

    May, 2023