Oct, 2023

潜在马尔可夫决策过程的前瞻性侧信息

PDF
TL;DR在许多交互决策的场景中存在着潜在且未被观察到的固定信息。本文研究了拥有潜在上下文信息的潜在马尔可夫决策过程（LMDP）类的问题，证明了任何具有样本高效算法的算法必须至少具有 Ω(K^(2/3)) 的后悔，提出了一个具有匹配上限的算法。
interactive decision-makinglatent and unobserved informationlatent markov decision processpartially observed environmentssample efficient algorithm
发现论文，激发创造
  • 具有连续侧信息的马尔可夫决策过程

    本文提出了一种基于上下文的马尔可夫决策过程增强学习算法，用于医疗保健中的治疗决策。算法基于平滑性假设进行学习，并给出了 PAC 边界。在上下文可线性组合的情况下，基于 KWIK 学习技术，我们提供了一个 PAC 学习算法。

    Nov, 2017

  • 潜在 MDP 中的强化学习是可行的：通过离线策略评估实现在线保证

    我们介绍了没有任何附加结构假设的 Latent Markov Decision Processes (LMDPs) 的第一个样本高效算法，并建立了新的离线评估引理和 LMDPs 的新覆盖系数，通过这些结果可以推导出一种乐观探索算法的近似最优保证。我们相信这些结果对于广泛的交互式学习问题，特别是部分观测环境中，具有重要价值。

    Jun, 2024

  • 带有侧面信息的 MDPs 在线学习

    本文提出了一种在线学习算法，使用有限马尔可夫决策过程解决了具有临床试验和推荐系统的应用方案的问题，该算法可以在计算效率上得到提升，并且在此设置下的后悔度最多为 O (√T)。

    Jun, 2014

  • 潜在 MDPs 的强化学习：遗憾保证和下界

    在本文中，我们考虑了隐式马尔科夫决策过程中强化学习的遗憾最小化问题，我们提出了一个具有局部保证的有效算法，以解决这个问题。

    Feb, 2021

  • 分离潜在马尔可夫决策过程中的近优学习与规划

    我们研究了学习潜在马尔可夫决策过程（LMDPs）的计算和统计学方面。本文的主要目标是建立一个几乎精确的统计阈值，以实现有效学习所需的时间长度。在计算方面，我们证明，在最优策略下具有较弱的分离性假设时，存在一个几乎多项式的算法，时间复杂度与统计阈值成比例。我们还基于指数时间假设，展示了一个近似的时间复杂度下界。

    Jun, 2024

  • 具有后见可观性的 POMDP 学习具有高效样本利用率

    本文针对传统 POMDP 学习在简单环境下的效率问题，提出了一种新的算法 HOMDP，并在考虑了过去的观测维度后有效地降低了算法的计算复杂度。

    Jan, 2023

  • 带有部分后见状态信息的 POMDP 在 RL 中的理论难度与可解性

    本文研究部分可观察马尔科夫决策过程（POMDP），发现除非我们拥有完整的后见状态信息，否则需要指数级的样本复杂度才能实现对 POMDP 的一个 ε- 最优策略解，但有部分 POMDP 分类情况下，其状态信息是足够的，本文提出了新的算法并证实这些算法是近似最优解。

    Jun, 2023

  • 回顾往事仅为五十之二：基于 MDP 的 POMDP 近似求解器不适合多分辨率信息收集

    本论文研究了使用 MDP 求解器解决 POMDP 问题时的局限性，提出了使用多分辨率、预算信息收集方法解决 POMDP 问题的必要性，并给出了一些设计选择。

    Apr, 2018

  • 基于模型的强化学习中的信息 POMDP：利用额外信息

    本文使用 POMDP 进行交互学习，并引入了信息学习的范例，提出了学习充分统计来实现最优控制的目标，并通过新提出的环境模型进行学习，最后在 Dreamer 算法中证明了这种方法的有效性和简单性，建议在模型为基础的 RL 的学习中系统考虑未来的附加信息

    Jun, 2023

  • 基于无界时间跨度和方差的隐含马尔可夫决策过程强化学习

    本文研究基于后知的上下文中的潜在马尔可夫决策过程（LMDPs）的强化学习中的遗憾最小化问题，设计了一种新的基于模型的算法框架，证明了具有一定时间复杂度的遗憾上限。

    Oct, 2022