Feb, 2021

线性可行最优状态价值函数下的MDP查询效率规划

HTML
PDF
TL;DR本文考虑了使用生成模型进行有限轮次的MDP本地规划，并提出了一种名为TensorPlan算法的方法，在最优价值函数符合线性可实现性的情况下，能够以poly((dH/δ)的复杂度找到相对于任何线性可实现性且存在界限参数的确定性策略的δ最优策略；此外，本文还将上限拓展到了近可实现性情况和无限时域折扣设置。
发现论文，激发创造
  • 线性实现最优动作价值函数的MDPs规划的指数下界

    本文研究了在具有线性函数逼近和生成模型的固定时间段和折扣式马尔可夫决策过程中的本地规划问题，并结合限制的特征映射来回答是否存在只需多项式数量查询的可靠规划器的问题，并提出了最小二乘值迭代算法用于计算优化方案。

    Oct, 2020

  • 使用线性函数逼近实现高效的本地规划

    研究使用线性函数逼近和模拟器的查询和计算高效的计划算法，在这种情况下，我们提出了名为“Confident MC-LSPI”和“Confident MC-Politex”的两种算法，同时证明了我们的算法在特征，有效规划控制范围和目标次优性的维度中具有多项查询和计算成本，而这些成本与状态空间的大小无关。

    Aug, 2021

  • 基于线性实现最优值函数的MDP计划的张量计划及少动作下限

    本研究考虑了在线规划中基于生成模型的固定时标马尔可夫决策过程（MDP）中的极小化查询复杂度，特别关注线性函数逼近的情况，并基于先前的研究，都采用了广泛的问题类别，提出了TensorPlan，可在动作数量固定的情况下实现所有相关数量的多项式查询成本，但在本文中，我们在(ii)及(iii)情况下证明了当动作集大小可以选择为指数函数时查询复杂度为指数级，这意味着相对于对所有状态情况(iii)成立的Du等人的工作，查询复杂度有惊人的指数级分离，并且我们还证明了TensorPlan的上界可用于(iii)的情况，并且，对于具有确定性转换和随机奖励的MDP，TensorPlan的上界也可用于(ii)情况。

    Oct, 2021

  • 无记忆随机策略优化在无限时域POMDP中的几何

    本研究考虑了有限状态和动作空间的无穷时部分观察到的马尔可夫决策问题中，根据折扣或平均收益准则找到最佳的无记忆随机策略并描述了优化问题作为可行状态-动作频率空间中的线性优化问题并使用了多项式优化的最大化奖励来解决导航问题。

    Oct, 2021

  • 马尔可夫决策过程的几何策略迭代

    探究了有限状态-动作折扣马尔可夫决策过程的价值函数多面体结构，并使用超平面排列表征了多面体的边界。提出了一种新的算法Geometric Policy Iteration (GPI)来解决折扣MDPs，它使用单个状态的策略更新，以更快的价值改进不影响计算效率，同时允许状态值的异步更新。证明了GPI的复杂度达到了策略迭代的最佳已知界限，并展示了GPI在各种大小的MDPs上的优越性。

    Jun, 2022

  • 在q^π可实现的MDPs中进行自信近似策略迭代，以实现高效的本地规划

    论文提出了一种新的拟动态规划算法Confident Approximate Policy Iteration(CAPI)，并将其应用于以局部模拟器为基础的规划问题中，该算法通过一系列策略来获得越来越精确的结果，在最小代价（内存和计算代价）下输出最优策略，同时该算法的查询复杂度较先进算法有很大的改善。

    Oct, 2022

  • 稀疏线性MDP中的探索和学习，无需计算难解的预测器

    线性马尔科夫决策过程（MDP）中的特征选择和零稀疏线性MDP，以及通过凸规划有效计算的模拟器、低深度决策树上的区块MDP的学习算法。

    Sep, 2023

  • 在线线性$ q^π $可实现MDPs中的RL与线性MDPs一样简单，只要你学会忽略什么

    在线强化学习中的线性可实现的马尔可夫决策过程(MDP)，提出了一种计算效率较低的学习算法，通过跳过特定状态转化为线性 MDP，并证明了该算法在这种情况下具有多项式样本复杂度。

    Oct, 2023

  • 自信自然策略梯度用于$q_π$可实现受限MDP中的本地规划

    这篇研究论文提出了一个新的基于受约束的马尔可夫决策过程（CMDP）框架的强化学习算法，通过离线数据评估和策略梯度更新来在线学习，实现了CMDP在线性设置中的多项式样本复杂度。

    Jun, 2024

  • 针对具有线性可实现价值函数的MDP的样本和oracle高效强化学习

    本研究解决了在大规模或无限状态和动作空间中设计高效样本和计算合理的强化学习算法的难题。我们提出了一种新算法，能够在给定特征映射下高效寻找近似最优策略，并在问题参数上呈多项式级别使用样本和成本敏感分类oracle。这一算法显著提升了现有方法的效能，尤其在处理无限状态和动作环境时，具有重要应用潜力。

    Sep, 2024