ChronosPerseus: 随机基于点的价值迭代与重要性采样在POSMDPs中的应用

Jul, 2022

ChronosPerseus: 随机基于点的价值迭代与重要性采样在POSMDPs中的应用

ChronosPerseus: Randomized Point-based Value Iteration with Importance Sampling for POSMDPs

Richard Kohar, François Rivest, Alain Gosselin

TL;DR本文提出了一种新的基于重要性采样的PBVI算法 -- ChronosPerseus，它支持在决策中整合连续流逝时间分布，并能有效减少算法的复杂度。算法还适用于情节式和非情节式问题，并提供了两个实例作为示范。

Abstract

In reinforcement learning, agents have successfully used environments modeled with Markov decision processes (MDPs). However, in many problem domains, an agent may suffer from noisy observations or random times until its subsequent decision. While partially observable Markov decision p

发现论文，激发创造

部分可观察马尔可夫决策过程的值函数逼近

本文介绍了部分可观测马尔可夫决策过程(POMDP)的近似（启发式）方法，研究其性质和关系，并提供一些新见解。该理论结果在代理导航领域的问题上得到了实验支持。

Jun, 2011

Perseus: POMDPs随机基于点的价值迭代

介绍了一种基于点集采样的算法——Perseus，使用该算法可以解决大规模的部分可观测马尔可夫决策过程问题，其通过随机选择子集进行值迭代，提高信念集中每个点的值，特别适用于连续动作空间。

Sep, 2011

大规模POMDP的即时点估计近似

介绍了一种名为PBVI的基于点值备份策略的实时部分可观测的马可夫决策过程，该策略通过选择信息信念点提高了算法效率，同时在标准的POMDP域和现实机器人任务中进行了实验评估。

Sep, 2011

使用谱方法强化学习POMDPs

提出了一种新的强化学习算法用于部分可观察的马尔可夫决策过程(POMDP)，该算法基于谱分解方法，学习参数通过固定政策生成的轨迹，并通过优化oracle返回最优的无记忆规划策略，算法可以有效缩放观测和行动空间的维度。

Feb, 2016

基于谱方法的POMDP强化学习实验结果

提出了一种基于谱分解方法的新的强化学习算法，用于部分可观察马尔可夫决策过程（POMDP）。通过谱技术从由固定策略生成的轨迹中学习POMDP参数，运行多个历元后，最终通过优化预测的POMDP模型返回最佳无记忆策略，并证明了与最优无记忆策略具有相对最优的后悔界和有效的缩放性。

May, 2017

回顾往事仅为五十之二：基于MDP的POMDP近似求解器不适合多分辨率信息收集

本论文研究了使用 MDP 求解器解决 POMDP 问题时的局限性，提出了使用多分辨率、预算信息收集方法解决 POMDP 问题的必要性，并给出了一些设计选择。

Apr, 2018

具有短期记忆的可证明强化学习

本文研究如何学习部分可观察的马尔科夫决策过程。通过构造一种特殊的子类POMDP，它的隐状态可以通过历史的近期记录来解码。我们使用新颖的瞬时匹配方法，并建立了一组在表格和丰富观察设置下，学习这类问题的近优策略的样本复杂性的上下界，并证明了短期记忆对于这些环境的强化学习已经足够。

Feb, 2022

可观测POMDP中的学习, 无需计算难以处理的预言机

该论文介绍了一种基于近似多项式时间算法的部分可观测马可夫决策过程无预言学习算法，该算法不是基于传统的探索-利用原则，而是采用几何拓扑中的重心跨度技术构建策略套接，并且通过对状态分布和观测分布的假设来保证合理性。

Jun, 2022

具有随时确定性保证的在线POMDP规划

通过简化解决方案与理论上最优解之间的确定性关系，解决了在计算上昂贵的部分可观测马尔可夫决策过程（POMDPs）困难，为自主代理在不完全信息环境下的规划提供了确定性界限。

Oct, 2023

POMDP中最优奖励应观察什么?

针对部分可观察的马尔可夫决策问题(POMDPs)，本文研究了一种新颖的最优可观测性问题(OOP)：如何在固定预算下选择一种代理人的传感器，使其达到预期目标。研究表明该问题在一般情况下是不可判定的，而考虑位置策略时是可判定的。我们提出了两种算法解决可判定的OOP问题：一种基于M的潜在马尔可夫决策过程的最优策略，另一种基于SMT的参数合成。我们对POMDP文献中的典型示例的变体进行了实验，并获得了有希望的结果。

May, 2024