Jan, 2023

通过冻结慢状态实现更快的近似动态规划

PDF
TL;DR论文提出了一种基于动态规划算法框架的近似方法，针对具有快慢结构的无穷状态空间的马尔可夫决策过程，其中 “冻结” 慢状态，通过解决一组简单的有限时段 MDP 以及在一个慢时间尺度（上层 MDP）上进行价值迭代的辅助 MDP 等步骤，生成有效策略，以更少的计算代价实现了决策建模中遗漏慢状态的可行性。
markov decision processesfast-slow structuredynamic programmingfinite-horizon mdpsvalue iteration
发现论文，激发创造
  • 基于因子的 MDP 高效解算算法

    本文提出了两种近似解决因子化马尔可夫决策过程的算法，利用基函数表示近似值函数，其中每个基函数仅涉及一个小的子集，使用类似于变量消除的线性规划分解技术将指数级的 LP 规模缩小到多项式级别。我们的动态规划算法使用 max-norm 近似技术，对于超过 10^40 个状态的问题，我们的算法展示了有希望的可扩展性，并将其与现有的最新技术方法进行了比较，在某些问题上计算时间得到了指数级的提升。

    Jun, 2011

  • 降低方差的价值迭代算法及用于求解马尔可夫决策流程的更快速算法

    提出了一种采用采样技术的快速算法来解决折扣马尔可夫决策过程的近似求解，并证明了算法的收敛性和复杂度。同时，结合经典的价值迭代与方差约减技术，改进了该算法的性能，使其具有线性收敛性和渐进最优性。

    Oct, 2017

  • 一个适用于单调价值函数的近似动态规划算法

    提出了一种名为 Monotone-ADP 的算法，利用价值函数的单调性来提高收敛速度，在三个应用领域中展示了数值结果，可以用比计算最优解所需计算量少两个数量级的迭代次数获得高质量解决方案。

    Jan, 2014

  • 具有非稳态马尔可夫策略的延迟环境下的决策行为

    该研究提出了一种针对 MDP 的决策学习与规划框架，其中决策制定者执行的动作有 $m$ 步的延迟，研究表明使用非恒定的马尔科夫策略，可以在非常大的延迟下实现最大化奖励，并介绍了一种无需状态增强即可解决延迟执行任务的 Q-learning 风格模型。

    Jan, 2021

  • 间歇可观察的马尔科夫决策过程

    本文研究了在不稳定状态信息下的 MDP，提出了一种基于树组织结构和值迭代算法的有限状态近似方法来寻找最优策略。

    Feb, 2023

  • 高维状态空间中具有有限时间保证的马尔可夫决策过程的结构估计

    本文提出了一种单步估计算法，用于处理高维状态空间，同时又不会降低奖励估计精度的问题。该算法通过随机梯度最大化似然函数，使每次策略改进都能够进行。研究表明，该算法可以达到平稳状态，同时在 MuJoCo 机器人控制问题和其转移设置中，相比其他逆向强化学习算法和模仿学习基准，该算法表现更好。

    Oct, 2022

  • 简化的马尔可夫决策过程：超出时间范围的视角

    本文通过分析满足特定漂移条件的随机最短路径问题的子类，引入降低可达性的概念，提出了一种构建并求解随机最短路径问题和马尔可夫决策过程的多项式时间算法，经实验验证效果良好。

    May, 2022

  • 分解型 MDPs 的策略迭代

    该论文提出了一种新的价值确定方法，借助简单的闭合计算来直接计算价值函数的分解逼近，以及一个基于此方法的策略迭代过程。

    Jan, 2013

  • 有界最优探索在 MDP 中的应用

    本文提出简单算法来解决在短期内实现理论驱动的探索方法和实际需求之间的纠葛，并通过理论分析和数字示例展示所提出的放宽条件的好处，同时维持任何时候的误差边界和平均损失边界，并且适用于贝叶斯和非贝叶斯方法。

    Apr, 2016

  • SPUDD：使用决策图的随机计划

    本研究提出了一种基于代数决策图来表示价值函数和策略的 Markov 决策过程的值迭代算法，并将其应用于波西网络和 ADDs 表示的大规模 MDPs 中，相较于树形结构表示方式大幅降低了节点数量。

    Jan, 2013