Jun, 2022

可观测 POMDP 中的学习，无需计算难以处理的预言机

PDF
TL;DR该论文介绍了一种基于近似多项式时间算法的部分可观测马可夫决策过程无预言学习算法，该算法不是基于传统的探索 - 利用原则，而是采用几何拓扑中的重心跨度技术构建策略套接，并且通过对状态分布和观测分布的假设来保证合理性。
reinforcement learningpartially observable markov decision processesoracle-free learning algorithmobservabilitypolicy covers
发现论文，激发创造
  • 具有随时确定性保证的在线 POMDP 规划

    通过简化解决方案与理论上最优解之间的确定性关系，解决了在计算上昂贵的部分可观测马尔可夫决策过程（POMDPs）困难，为自主代理在不完全信息环境下的规划提供了确定性界限。

    Oct, 2023

  • 可证明高效的部分可观测动态系统强化学习

    通过提出一种新的基于双线性 Actor-Critic 框架的学习算法，该算法可以对部分可观察的动态系统进行部分可观察的强化学习，并且在特定的情形下（如欠完备的可观察性模型）具有较高的性能表现。

    Jun, 2022

  • 具有后见可观性的 POMDP 学习具有高效样本利用率

    本文针对传统 POMDP 学习在简单环境下的效率问题，提出了一种新的算法 HOMDP，并在考虑了过去的观测维度后有效地降低了算法的计算复杂度。

    Jan, 2023

  • 部分可观察的强化学习何时不可怕？

    该论文介绍了应用于部分可观测的情况下的强化学习模型，探讨了在一些特殊情况下该模型的使用，提出了一种通过乐观估计与极大似然估计相结合的简单算法，能够保证在这些特殊情况下有多项式样本复杂度可行的方法。

    Apr, 2022

  • 低秩 POMDP 中可证明高效且具可行性的表示学习

    本文研究部分可观测马尔可夫决策过程的表示学习，其中智能体学习将高维原始观察映射到紧凑表示并用于更高效的探索和规划，并提出一种基于最大似然估计和不确定性乐观算法的表示学习算法，从而在计算复杂度上获得高效的采样复杂度。

    Jun, 2023

  • 面向不确定性的机器人强鲁棒规划中的 POMDP-lite

    本文介绍了一种子类部分可观察马尔可夫决策过程 (POMDP), 即 POMDP-lite， 使用该方法解决机器人任务时计算复杂度减小，我们开发了一种基于贝叶斯强化学习算法来解决 POMDP-lite 模型，效果优于当前最先进的 POMDP 算法且在适当条件下该算法接近贝叶斯最优。

    Feb, 2016

  • POMDP 中的 Task-Guided IRL

    本文提出了一种新算法，用于部分可观测的马尔可夫决策过程中的反向强化学习，可增加数据效率并减少信息不对称，通过融合时间逻辑表达式作为先验信息，使用因果熵而不是熵，防止算法复杂度的通用来源，有效地解决了非凸问题，并在高级 Unity 仿真器中进行了实验，结果表明该算法具有较高的性能。

    Dec, 2022

  • 朝着在 POMDP 中使用完全可观察策略

    本文提出了基于多模式信念的偏差可观察马尔可夫决策过程 (POMDP) 的解决方法，该方法基于全可观察版本的策略，并定义了一个基于价值函数的混合值函数，可以使用相应的贪心策略解决 POMDP。作者发展了必要的数学框架，并介绍了在 Reconnaissance Blind TicTacToe 任务上建立的基准测试。在此基准测试中，我们展示了多模式策略胜过忽略多模式存在的策略。

    Jul, 2022

  • POMDP 中最优奖励应观察什么？

    针对部分可观察的马尔可夫决策问题 (POMDPs)，本文研究了一种新颖的最优可观测性问题 (OOP)：如何在固定预算下选择一种代理人的传感器，使其达到预期目标。研究表明该问题在一般情况下是不可判定的，而考虑位置策略时是可判定的。我们提出了两种算法解决可判定的 OOP 问题：一种基于 M 的潜在马尔可夫决策过程的最优策略，另一种基于 SMT 的参数合成。我们对 POMDP 文献中的典型示例的变体进行了实验，并获得了有希望的结果。

    May, 2024

  • 使用谱方法强化学习 POMDPs

    提出了一种新的强化学习算法用于部分可观察的马尔可夫决策过程 (POMDP)，该算法基于谱分解方法，学习参数通过固定政策生成的轨迹，并通过优化 oracle 返回最优的无记忆规划策略，算法可以有效缩放观测和行动空间的维度。

    Feb, 2016