Oct, 2022

在 q^π 可实现的 MDPs 中进行自信近似策略迭代，以实现高效的本地规划

PDF
TL;DR论文提出了一种新的拟动态规划算法 Confident Approximate Policy Iteration (CAPI)，并将其应用于以局部模拟器为基础的规划问题中，该算法通过一系列策略来获得越来越精确的结果，在最小代价（内存和计算代价）下输出最优策略，同时该算法的查询复杂度较先进算法有很大的改善。
approximate dynamic programminglinear value-function approximationapproximate policy iterationconfident approximate policy iterationplanning algorithm
发现论文，激发创造
  • 使用线性函数逼近实现高效的本地规划

    研究使用线性函数逼近和模拟器的查询和计算高效的计划算法，在这种情况下，我们提出了名为 “Confident MC-LSPI” 和 “Confident MC-Politex” 的两种算法，同时证明了我们的算法在特征，有效规划控制范围和目标次优性的维度中具有多项查询和计算成本，而这些成本与状态空间的大小无关。

    Aug, 2021

  • 近似策略迭代方案对比

    本文考虑了马尔可夫决策过程所形式化的无限时间折扣率下的最优控制问题，研究了几种近似策略迭代算法，对它们进行了性能分析，显示了非静态策略迭代算法可以在内存和性能之间进行平衡。

    May, 2014

  • 自信自然策略梯度用于 $q_π$ 可实现受限 MDP 中的本地规划

    这篇研究论文提出了一个新的基于受约束的马尔可夫决策过程（CMDP）框架的强化学习算法，通过离线数据评估和策略梯度更新来在线学习，实现了 CMDP 在线性设置中的多项式样本复杂度。

    Jun, 2024

  • 自适应近似策略迭代

    本研究提出一种自适应近似政策迭代 (AAPI) 学 ​​习方案，其具有较好的理论保证，并基于在线学习技术只考虑价值函数，通过数据相关的自适应学习率和所谓的乐观损失预测相结合，可达到 $ ilde {O}(T^{2/3})$ 的遗憾上限，在许多应用领域中取得了令人瞩目的表现。

    Feb, 2020

  • 带政策语言偏差的近似策略迭代：解决关系马尔可夫决策过程

    研究大规模关系型马尔科夫决策过程（MDP）的政策选择方法，考虑一种近似政策迭代（API） 的变体，用学习步骤在政策空间中替换通常的值函数学习步骤，介绍一个关系型政策语言和相应的学习器，以及基于随机游走的面向目标的规划域的自举例行程序，实验结果表明，该系统能够解决一系列的规划域和其随机变体，但提出了一些局限性建议未来工作。

    Sep, 2011

  • 关于某些策略搜索动态规划算法的性能界限

    本篇研究考虑了马尔科夫决策过程 (Markov Decision Processes) 的无限时间折扣优化控制问题，并提供了 Policy Search 算法以及 Direct Policy Iteration 和 Conservative Policy Iteration 的性能保证，同时提出了 Non-Stationary Direct Policy Iteration 算法，并证明其时间复杂度类似于 DPI，性能保证好于 DPI，且与 CPI 相当。

    Jun, 2013

  • 线性可行最优状态价值函数下的 MDP 查询效率规划

    本文考虑了使用生成模型进行有限轮次的 MDP 本地规划，并提出了一种名为 TensorPlan 算法的方法，在最优价值函数符合线性可实现性的情况下，能够以 poly ((dH/δ) 的复杂度找到相对于任何线性可实现性且存在界限参数的确定性策略的 δ 最优策略；此外，本文还将上限拓展到了近可实现性情况和无限时域折扣设置。

    Feb, 2021

  • 线性实现最优动作价值函数的 MDPs 规划的指数下界

    本文研究了在具有线性函数逼近和生成模型的固定时间段和折扣式马尔可夫决策过程中的本地规划问题，并结合限制的特征映射来回答是否存在只需多项式数量查询的可靠规划器的问题，并提出了最小二乘值迭代算法用于计算优化方案。

    Oct, 2020

  • Lambda-Policy Iteration: 评述与新实现

    本文介绍了一种精确和近似动态规划的方法即 λ- 策略迭代，并讨论了基于模拟的费用函数逼近中的偏差和探索问题。此外，讨论了多种基于此方法的实现，其中一种实现是基于一种新的模拟方案，称为几何采样。

    Jul, 2015

  • 使用近似策略迭代解决共同收益博弈

    该论文提出一种名为 CAPI 的算法，它与 BAD 相似，结合了共同知识和深度强化学习，但与 BAD 不同，CAPI 优先考虑发现最优联合策略而非可扩展性。

    Jan, 2021