本研究提出了一种基于代数决策图来表示价值函数和策略的 Markov 决策过程的值迭代算法，并将其应用于波西网络和 ADDs 表示的大规模 MDPs 中，相较于树形结构表示方式大幅降低了节点数量。

Jan, 2013

我们提出了一个框架来处理离散和连续变量的混合模型的随机规划问题，使用混合马尔可夫决策过程的方法，通过线性规划近似来解决这些问题，并遵循混合动态贝叶斯网络的表示形式，已在一系列控制问题中进行了实验。

Jul, 2012

本文介绍了一种可对连续和离散变量的大决策问题进行紧凑表示的混合分解 Markov 决策过程（MDP）模型和一种新的混合近似线性规划（HALP）框架，HALP 的核心思想是通过一组基函数的线性组合来近似最优价值函数，并通过线性规划来优化其权重， 并证明其在多种混合优化问题中的可扩展潜力。

Sep, 2011

本文提出了两种近似解决因子化马尔可夫决策过程的算法，利用基函数表示近似值函数，其中每个基函数仅涉及一个小的子集，使用类似于变量消除的线性规划分解技术将指数级的 LP 规模缩小到多项式级别。我们的动态规划算法使用 max-norm 近似技术，对于超过 10^40 个状态的问题，我们的算法展示了有希望的可扩展性，并将其与现有的最新技术方法进行了比较，在某些问题上计算时间得到了指数级的提升。

Jun, 2011

介绍了一种新的方法，确切高效地解决了具有稀疏奖励来源的确定性连续 MDP 问题，可以提高在机器人和无人系统等领域的应用价值，减少计算复杂度。

May, 2018

提出了一种名为 Monotone-ADP 的算法，利用价值函数的单调性来提高收敛速度，在三个应用领域中展示了数值结果，可以用比计算最优解所需计算量少两个数量级的迭代次数获得高质量解决方案。

Jan, 2014

本研究提出了动态规划问题的一种新的模型化方法：基于动态规划描述语言（DyPDL）的领域无关动态规划（DIDP），并开发了基于状态空间搜索的成本代数 A * 求解器（CAASDy）。 通过实验比较 CAASDy 与商业混合整数规划和约束规划求解器，我们表明 CAASDy 在许多常见问题类上优于 MIP 和 CP 模型。

Nov, 2022

本文介绍了一种符号规划算法，该算法是面向以对象为中心、独立的外部事件和捕捉库存控制等问题的服务域的，该算法具有明确的关于外部事件的关系 MDP 的性能保证，在某些技术条件下，我们的规划算法提供了关于最优值函数的单调下界。为了支持这种算法，我们使用广义一阶决策图作为知识表示，提出了新颖的评估和约简技术。我们的规划算法使用一组焦点状态，这组状态作为一个训练集，简化和近似符号解，并且可以被视为执行规划的学习。一项初步的实验评估证明了这种方法的有效性。

Jun, 2013

在随机控制的领域中，尤其是在经济学和工程学中，马尔可夫决策过程（MDPs）能够有效地建模各种随机决策过程，从资产管理到运输优化。本文定义了一个 MDP 框架，SD-MDP，通过解开 MDPs 的转移和奖励动态的因果结构，提供了时间因果图上的不同分区。通过将这个估计器集成到著名的蒙特卡洛规划算法中，如蒙特卡洛树搜索（MCTS），我们还得出了算法的简单遗憾界限。最后，我们通过在基于海上加油的实际经济示例中展示 MCTS 规划算法在 SD-MDP 框架下取得更高预期奖励（更低成本）的政策改进。

Jun, 2024

该论文研究了上下文马尔可夫决策过程（CMDPs）在线性函数逼近模型下的性质，提出了创新的基于模型的算法，并证明了其在样本复杂度方面的优越性。比较两种模型的结果表明，上下文变化的特征比所有上下文共享表示在线性 CMDPs 中具有更好的样本效率。

Feb, 2024