Dec, 2022

基于贝叶斯决策和 POMDP 的模型不确定性下的鲁棒维护计划，以铁路系统为例

PDF
TL;DR该论文提出了一种使用 POMDP 模型进行基础设施维护规划的方法，通过使用 MCMC 采样来从实际监控数据中直接估计模型参数并解决模型不确定性问题，最终成功地应用于铁路轨道资产的维护规划。
structural health monitoringpartially observable markov decision processesmarkov chain monte carlomaintenance planningfractal value
发现论文，激发创造
  • 基于深度强化学习的 POMDP 推断和鲁棒解决方案：铁路最优维护应用

    本文提出一个结合推断和强化学习的框架，通过深度强化学习对 POMDP 问题进行鲁棒解决。通过 Markov Chain Monte Carlo 抽样来联合推断出所有的转换和观察模型参数，并将参数分布通过域随机化融入到模型不确定性的解决中，解决该方法适用于铁路资产维护规划等实际问题。

    Jul, 2023

  • 具有随时确定性保证的在线 POMDP 规划

    通过简化解决方案与理论上最优解之间的确定性关系，解决了在计算上昂贵的部分可观测马尔可夫决策过程（POMDPs）困难，为自主代理在不完全信息环境下的规划提供了确定性界限。

    Oct, 2023

  • 机器人中的部分可观察马尔可夫决策过程：综述

    这篇综述文章研究多种机器人领域中使用部分可观察马尔可夫决策过程（POMDP）的数学模型和算法，分析它们的特点，并提供适用的决策任务的关键任务特性。

    Sep, 2022

  • 部分可观察马尔可夫决策过程的值函数逼近

    本文介绍了部分可观测马尔可夫决策过程 (POMDP) 的近似（启发式）方法，研究其性质和关系，并提供一些新见解。该理论结果在代理导航领域的问题上得到了实验支持。

    Jun, 2011

  • 在线随机情况规划的展开策略

    部分可观察马尔可夫决策过程 (POMDP) 是在部分可观察性和随机行为下进行决策的有用模型。本文将 POMDP 建模为随机条件规划问题，并提出了两种领域独立的启发式算法，一种基于经典规划中著名的 h_add 启发式算法，另一种在信念空间中计算并考虑信息价值。

    Oct, 2023

  • 基于贝叶斯网络和深度强化学习的具有概率依赖性的退化系统的推断和动态决策

    本文提出了一种面向环境退化的工程系统的决策算法框架，通过部分可观察性马尔可夫决策过程来处理决策问题，采用深度去中心化多智能体演员 - 评论家强化学习方法对其进行优化，在工程领域实验表明，DDMAC 策略较之现状启发式方法提供了实质性的优势，并且 DDMAC 策略已内在地考虑了系统效应。

    Sep, 2022

  • CAR-DESPOT: 机器人在混杂环境中基于因果推断的在线 POMDP 规划

    本文提出了使用因果建模和推理的新型持续时间在线部分可观测树规划器的因果知情扩展，以消除未测量混淆变量所引起的误差。同时，我们提出了一种离线学习因果模型的方法，用于规划。我们在一个具有未观察到混淆因素的玩具问题上评估了我们的方法，并表明所学习的因果模型非常准确，而我们的规划方法比 AR-DESPOT 更加抗干扰，并产生更高性能的策略。

    Apr, 2023

  • 利用领域知识提高 POMDP 信念估计

    使用 Jeffrey 的规则和标准化，将领域专业知识整合到部分可观察马尔科夫决策过程中概率信念更新的新方法，表明领域知识可以减少数据需求，提高使用强化学习的 POMDP 策略学习的性能。

    Feb, 2023

  • POMDP 的粒子信念逼近的最优性保证

    本文提出了利用基于粒子滤波置信转移模型的有限样本粒子置信 MDP 近似解决 POMDP 的方法。在五个基准 POMDP 实验中，与其他领先的连续观察 POMDP 求解器相比，表明这种方法可以实现与其他领先的连续观察 POMDP 求解器竞争力的表现。

    Oct, 2022

  • 在具有概率保证和实践的连续 POMDP 规划中简化复杂的观测模型

    使用简化观测模型进行规划，同时保证解决方案的质量，无需在规划过程中访问昂贵的模型，以统计总变差距离为基础提出了一种新的概率界，通过广义化最近的粒子 - 信念 MDP 收敛性界限的结果来限制理论 POMDP 值与简化模型下的经验规划值之间的差距，并演示了如何将这种界限整合到现有的连续在线 POMDP 求解器的常规例程中。

    Nov, 2023