Jun, 2013

关于某些策略搜索动态规划算法的性能界限

PDF
TL;DR本篇研究考虑了马尔科夫决策过程 (Markov Decision Processes) 的无限时间折扣优化控制问题，并提供了 Policy Search 算法以及 Direct Policy Iteration 和 Conservative Policy Iteration 的性能保证，同时提出了 Non-Stationary Direct Policy Iteration 算法，并证明其时间复杂度类似于 DPI，性能保证好于 DPI，且与 CPI 相当。
infinite-horizon discounted optimal controlmarkov decision processespolicy search algorithmsdirect policy iterationconservative policy iteration
发现论文，激发创造
  • 近似策略迭代方案对比

    本文考虑了马尔可夫决策过程所形式化的无限时间折扣率下的最优控制问题，研究了几种近似策略迭代算法，对它们进行了性能分析，显示了非静态策略迭代算法可以在内存和性能之间进行平衡。

    May, 2014

  • 双策略迭代

    本文提出了 Dual Policy Iteration 的概念，利用该框架有效地将模型无关和基于模型的强化学习方法与未知动力学结合起来，用于处理各种连续控制马尔可夫决策过程。

    May, 2018

  • 政策迭代的复杂性

    本文研究关于 Markov 决策过程的策略迭代算法的收敛性和复杂度，提出了一种复杂度上界的限制方法，不依赖于折扣因子的价值，有效地限制了策略迭代算法收敛至最优策略所需的迭代次数。

    Jan, 2013

  • 动态策略编程

    本文提出了一种新的策略迭代方法 —— 动态策略规划（DPP），用于在无限时间马尔可夫决策过程（MDP）中估计最优策略，证明了 DPP 在估计和近似误差存在的情况下的有限迭代和渐进 l∞-norm 性能损失边界，通过数值实验表明，与现有的强化学习方法相比，在所有情况下，基于 DPP 的算法表现出更好的性能。

    Apr, 2010

  • 策略迭代最坏情况复杂度的改进界

    本文主要探讨关于马尔可夫决策过程解决方案的复杂度问题，研究表明，虽然使用线性规划技术解决方案可以在多项式时间内完成，但使用迭代方法，如策略迭代算法，通常在实践中更高效。同时，本文提出了关于策略迭代算法收敛步数的改进，得出了一个更合理的上限。

    Oct, 2014

  • Lambda-Policy Iteration: 评述与新实现

    本文介绍了一种精确和近似动态规划的方法即 λ- 策略迭代，并讨论了基于模拟的费用函数逼近中的偏差和探索问题。此外，讨论了多种基于此方法的实现，其中一种实现是基于一种新的模拟方案，称为几何采样。

    Jul, 2015

  • 在有限时间无限阶段马尔可夫决策过程中使用非平稳策略

    论文提出了为无限时域的马尔科夫决策过程 (即 MDP) 设计出计算非平稳最优策略的算法，其中引入了价值迭代和策略迭代，可以使得计算出的平稳或非平稳最优策略与实际的最优策略的距离最多相差一定精度。

    Nov, 2012

  • 策略迭代复杂度的改进和推广的上界

    本文研究了两种策略迭代算法在马尔可夫决策过程中收敛所需的迭代次数，并通过结构性质得到了与折扣因子无关的上界，在假设状态空间分为瞬态和常态状态的情况下，Howard's PI 和 Simplex-PI 都可以在强多项式时间内终止。

    Jun, 2013

  • 在 q^π 可实现的 MDPs 中进行自信近似策略迭代，以实现高效的本地规划

    论文提出了一种新的拟动态规划算法 Confident Approximate Policy Iteration (CAPI)，并将其应用于以局部模拟器为基础的规划问题中，该算法通过一系列策略来获得越来越精确的结果，在最小代价（内存和计算代价）下输出最优策略，同时该算法的查询复杂度较先进算法有很大的改善。

    Oct, 2022

  • 策略迭代的指数下界

    本文研究无限期 Markov 决策过程的策略迭代，扩展了两个玩家博弈中策略迭代算法的指数下界到具有总奖励和平均奖励优化标准的 Markov 决策过程。

    Mar, 2010