Mar, 2023

Wasserstein 信仰者：通过可靠潜在空间模型学习部分可观测环境的信仰更新

PDF
TL;DR本文提出了 Wasserstein-Belief-Updater (WBU)，一种强化学习算法，它学习 POMDP 的潜在模型和信仰更新的近似，并具有理论保证，确保输出的信仰可以学习最优值函数。
partially observable markov decision processesrecurrent neural networkswasserstein-belief-updaterrl algorithmbelief update
发现论文，激发创造
  • 针对 POMDP 的模仿学习中的信仰表征学习

    该研究使用生成对抗（GAN）深度神经网络引导非马尔可夫策略策略的置信度表示，在一定程度上解决了部分可观察马尔可夫决策过程（POMDP）中的模仿学习问题。

    Jun, 2019

  • 多智能体场景下的序列规划框架

    本研究在部分可观察马尔可夫决策过程 (POMDPs) 的基础上，将代理模型纳入到状态空间中，使其扩展到了多智能体的情景下。代理人通过贝叶斯更新来维护对物理环境状态和其他代理模型的信念，并使用基于置信状态的映射来求得最优方案。虽然我们的方法中代理人的模型不可直接被操纵或观察，但我们证明了 POMDPs 的重要特性如收敛率、价值函数的分段线性和凸性等在我们的框架下仍然成立。

    Sep, 2011

  • POMDP 的粒子信念逼近的最优性保证

    本文提出了利用基于粒子滤波置信转移模型的有限样本粒子置信 MDP 近似解决 POMDP 的方法。在五个基准 POMDP 实验中，与其他领先的连续观察 POMDP 求解器相比，表明这种方法可以实现与其他领先的连续观察 POMDP 求解器竞争力的表现。

    Oct, 2022

  • 众多智能体 POMDP 中的分解式在线规划

    在集中式多智能体系统中，使用多智能体部分可观察马尔可夫决策过程（MPOMDPs）进行建模，其中动作和观察空间随着智能体数量呈指数增长，使得单智能体在线规划的价值和信念状态估计变得低效。本研究采用加权粒子滤波和可扩展的信念状态近似方法，同时解决了价值估计和状态估计的挑战，提出了基于稀疏粒子滤波信念树的在线规划算法，该算法在少量智能体的情况下表现出竞争性的性能，并在多智能体的基准测试中胜过现有算法。

    Dec, 2023

  • 带有性能保证的 ρ-POMDP 中的测量简化

    该研究论文介绍了一种有效的决策制定方法，通过对高维观测空间进行划分，并利用这种划分提出了分析边界，以求得期望的信息论奖励，进而在保证性能的同时实现高效规划。该方法在高斯置信度上表现出至少 4 倍的理论性能改善，在模拟和实际实验中也相对其他先进算法显示了大幅沙盘速度提升。

    Sep, 2023

  • 利用领域知识提高 POMDP 信念估计

    使用 Jeffrey 的规则和标准化，将领域专业知识整合到部分可观察马尔科夫决策过程中概率信念更新的新方法，表明领域知识可以减少数据需求，提高使用强化学习的 POMDP 策略学习的性能。

    Feb, 2023

  • BetaZero: 使用学习逼近的置信状态规划长时程 POMDPs

    介绍一种基于准确置信模型的 BetaZero 算法，该算法使用在线蒙特卡罗树搜索与线下神经网络逼近相结合的方法来实现长周期问题的在线决策，解决了部分可观测领域的挑战，并在地质勘探等现实任务中表现出色。

    May, 2023

  • 自适应概率信赖约束下的连续高维信念空间规划

    研究了基于信念空间规划的在线决策问题，在信息收集等场景下，介绍了一种自适应的方法来寻求最大可行回报，应用这种方法可以在保证准确率的前提下显著加速在线决策过程，并进行了大量现实模拟来验证此方法的优越性。

    Feb, 2023

  • 具有连续状态、动作和观测空间的 POMDP 在线算法

    本文探讨了解决离散状态空间和连续状态、动作和观测空间间问题的双重渐进扩展法，并提出和评估了两种利用加权粒子滤波克服此问题的新算法 POMCPOW 和 PFT-DPW，并通过仿真结果表明这些修改可以成功地解决以前的问题。

    Sep, 2017

  • 学习部分可观测环境的因果状态表示

    本文提出了一种基于循环神经网络（RNN）的近似因果状态算法，该方法学习从 POMDP 中的历史动作和观察预测未来观察情况的因果状态表示。实验证明，所学习的状态表示可用于有效学习具有丰富观察空间的强化学习问题，并与之前的方法进行比较。

    Jun, 2019