Apr, 2010

动态策略编程

PDF
TL;DR本文提出了一种新的策略迭代方法 —— 动态策略规划（DPP），用于在无限时间马尔可夫决策过程（MDP）中估计最优策略，证明了 DPP 在估计和近似误差存在的情况下的有限迭代和渐进 l∞-norm 性能损失边界，通过数值实验表明，与现有的强化学习方法相比，在所有情况下，基于 DPP 的算法表现出更好的性能。
policy iteration methoddynamic policy programmingmarkov decision processesasymptotic performance-loss boundsreinforcement learning
发现论文，激发创造
  • 近似策略迭代方案对比

    本文考虑了马尔可夫决策过程所形式化的无限时间折扣率下的最优控制问题，研究了几种近似策略迭代算法，对它们进行了性能分析，显示了非静态策略迭代算法可以在内存和性能之间进行平衡。

    May, 2014

  • 关于某些策略搜索动态规划算法的性能界限

    本篇研究考虑了马尔科夫决策过程 (Markov Decision Processes) 的无限时间折扣优化控制问题，并提供了 Policy Search 算法以及 Direct Policy Iteration 和 Conservative Policy Iteration 的性能保证，同时提出了 Non-Stationary Direct Policy Iteration 算法，并证明其时间复杂度类似于 DPI，性能保证好于 DPI，且与 CPI 相当。

    Jun, 2013

  • 经验动态规划

    本文提出了用于马尔可夫决策过程的经验动态规划算法，并介绍了概率不变点的概念和收敛分析的随机优势框架。实验结果表明，这些算法可以比随机逼近算法更快地收敛。

    Nov, 2013

  • 自适应近似策略迭代

    本研究提出一种自适应近似政策迭代 (AAPI) 学 ​​习方案，其具有较好的理论保证，并基于在线学习技术只考虑价值函数，通过数据相关的自适应学习率和所谓的乐观损失预测相结合，可达到 $ ilde {O}(T^{2/3})$ 的遗憾上限，在许多应用领域中取得了令人瞩目的表现。

    Feb, 2020

  • Lambda-Policy Iteration: 评述与新实现

    本文介绍了一种精确和近似动态规划的方法即 λ- 策略迭代，并讨论了基于模拟的费用函数逼近中的偏差和探索问题。此外，讨论了多种基于此方法的实现，其中一种实现是基于一种新的模拟方案，称为几何采样。

    Jul, 2015

  • 合作多智能体马尔可夫决策过程中的近似线性规划和分散策略改进

    我们提出了适用于合作多智能体有限和无限时域折扣马尔可夫决策过程的逼近策略迭代算法，其中使用近似线性规划计算近似值函数并实施分散策略改进。

    Nov, 2023

  • 近似改进策略迭代

    本文旨在探讨 Modified Policy Iteration（MPI）算法的近似形式，提出了三种扩展的适应于大规模状态和动作空间的 DP 算法，包括拟合值迭代、拟合 Q 迭代和基于分类的策略迭代，并提供了统一的误差传播分析方法。同时，对于基于分类的实现，发展了有限样本分析，以显示 MPI 的主要参数如何控制分类器的估计误差和整体价值函数的近似程度。

    May, 2012

  • 通过最小化分布健壮边界来近似动态规划

    本文描述了一种新的近似动态规划方法 —— 分布式鲁棒性近似动态规划，通过最小化对策略损失的悲观界限来解决维度灾难，将 ADP 转化为优化问题，提高了现有 ADP 方法的理论保证。 DRADP 保证收敛和基于 L1 范数的误差界限，并在基准问题上展示了良好的性能表现。

    May, 2012

  • 双策略迭代

    本文提出了 Dual Policy Iteration 的概念，利用该框架有效地将模型无关和基于模型的强化学习方法与未知动力学结合起来，用于处理各种连续控制马尔可夫决策过程。

    May, 2018

  • 策略迭代最坏情况复杂度的改进界

    本文主要探讨关于马尔可夫决策过程解决方案的复杂度问题，研究表明，虽然使用线性规划技术解决方案可以在多项式时间内完成，但使用迭代方法，如策略迭代算法，通常在实践中更高效。同时，本文提出了关于策略迭代算法收敛步数的改进，得出了一个更合理的上限。

    Oct, 2014