Jun, 2024

部分可观测马尔可夫决策过程中纯探索策略的局限性：观测信息熵的足够性

PDF
TL;DR在部分可观测性问题中，本文研究了将状态熵最大化的简单方法，并提供了对真实状态熵的逼近的上下界，以及如何利用观测函数的特性来计算观测熵的合理化的方法，从而提高性能和对 POMDP 环境下状态熵最大化的进展进行了理论性的描述。
pure explorationmarkov decision processesstate entropy maximizationpartial observabilitypomdp
发现论文，激发创造
  • 如何在 POMDPs 中通过信念进行探索：状态熵最大化

    本文研究了强化学习中的状态熵最大化，针对部分观测的真实状态提出了一种内存和计算效率高的策略梯度方法，解决了目标近似、优化和幻觉问题，旨在推广状态熵最大化到更现实的领域。

    Jun, 2024

  • 可证明高效的最大熵探索

    该研究采用条件梯度法，利用近似 MDP 求解器提供高效算法，解决了在没有奖励信号的情况下对一类内在目标进行优化的问题。

    Dec, 2018

  • 一种用于动作 - 状态熵正则化奖励最大化的通用马尔可夫决策过程形式化方法

    提供将约束优化问题转换为无约束凸优化问题的一般性双重函数形式主义，适用于动作和状态熵的任意混合，其中，动作熵和状态熵的纯形式被理解为混合的极限。这解决了前人关于动作、状态和混合熵正则化、纯探索和空间占用等问题的解决方案很麻烦的难题。

    Feb, 2023

  • 带有部分后见状态信息的 POMDP 在 RL 中的理论难度与可解性

    本文研究部分可观察马尔科夫决策过程（POMDP），发现除非我们拥有完整的后见状态信息，否则需要指数级的样本复杂度才能实现对 POMDP 的一个 ε- 最优策略解，但有部分 POMDP 分类情况下，其状态信息是足够的，本文提出了新的算法并证实这些算法是近似最优解。

    Jun, 2023

  • 具有后见可观性的 POMDP 学习具有高效样本利用率

    本文针对传统 POMDP 学习在简单环境下的效率问题，提出了一种新的算法 HOMDP，并在考虑了过去的观测维度后有效地降低了算法的计算复杂度。

    Jan, 2023

  • 具有随时确定性保证的在线 POMDP 规划

    通过简化解决方案与理论上最优解之间的确定性关系，解决了在计算上昂贵的部分可观测马尔可夫决策过程（POMDPs）困难，为自主代理在不完全信息环境下的规划提供了确定性界限。

    Oct, 2023

  • POMDP 中的期望总奖励欠估计算

    本文研究了如何通过计算部分可观察马尔可夫决策过程的总期望奖励的下界来解决通常难以解决的问题，提供了两种技术：使用良好策略的简单技术和使用概率之间的最小移位的更高级别的技术。同时，本文还使用混合整数线性规划找到这样最小概率移位，并在实验中表明了这些技术的可扩展性和其提供的紧缩的下界值。

    Jan, 2022

  • POMDP 中最优奖励应观察什么？

    针对部分可观察的马尔可夫决策问题 (POMDPs)，本文研究了一种新颖的最优可观测性问题 (OOP)：如何在固定预算下选择一种代理人的传感器，使其达到预期目标。研究表明该问题在一般情况下是不可判定的，而考虑位置策略时是可判定的。我们提出了两种算法解决可判定的 OOP 问题：一种基于 M 的潜在马尔可夫决策过程的最优策略，另一种基于 SMT 的参数合成。我们对 POMDP 文献中的典型示例的变体进行了实验，并获得了有希望的结果。

    May, 2024

  • 马尔可夫决策过程中的主动模型估计

    本文研究了基于 Markov 决策过程 (MDP) 环境中的精确建模的高效探索问题，提出一种以加权熵为基础的算法用于解决贪心算法在探索初阶段表现较差的问题，并在简单的具有异构噪音的两个问题上进行了验证。

    Mar, 2020

  • 部分可观察马尔可夫决策过程的值函数逼近

    本文介绍了部分可观测马尔可夫决策过程 (POMDP) 的近似（启发式）方法，研究其性质和关系，并提供一些新见解。该理论结果在代理导航领域的问题上得到了实验支持。

    Jun, 2011