Sep, 2024

针对具有线性可实现价值函数的MDP的样本和oracle高效强化学习

HTML
PDF
TL;DR本研究解决了在大规模或无限状态和动作空间中设计高效样本和计算合理的强化学习算法的难题。我们提出了一种新算法，能够在给定特征映射下高效寻找近似最优策略，并在问题参数上呈多项式级别使用样本和成本敏感分类oracle。这一算法显著提升了现有方法的效能，尤其在处理无限状态和动作环境时，具有重要应用潜力。
发现论文，激发创造
  • 连续状态空间中的样本高效强化学习：超越线性的视角

    提出了Effective Planning Window（EPW）条件，并提供一种算法来证明满足该条件的MDPs具有有效的样本使用率，该条件是在RL中不需要假设线性结构的一种结构性条件。

    Jun, 2021

  • 使用线性函数逼近的无奖励模型强化学习

    本文研究线性函数逼近的无奖励强化学习与马尔可夫决策过程，并提出了一种新算法UCRL-RFE，其中使用线性函数对状态、动作和下一个状态进行特征映射，能够在探索阶段最多采样$\tilde{\mathcal{O}}(H^5d^2\epsilon^{-2})$周期，用于构建奖励函数并实现任意奖励下的$\epsilon$-最优策略。

    Oct, 2021

  • 强化学习中的计算统计差距

    本文针对强化学习中的大状态空间问题，研究使用函数逼近的强化学习方法，并提出了寻找高效率算法的方案，同时探讨了计算难度与统计问题之间的关系。

    Feb, 2022

  • 强化学习中样本高效函数逼近的通用框架

    本文提出了一个能够统一模型驱动和无模型驱动强化学习的通用框架，本框架中提出了一个可见证贝尔曼算法（ABC）类别，能够涵盖几乎所有文献中的马尔可夫决策过程（MDP）模型。结合该框架，本文提出了一个新的算法OPtimization-based ExploRation with Approximation（OPERA），能够在多种MDP模型中达到最小遗憾的上限。

    Sep, 2022

  • 线性马尔科夫决策过程的近最小值最大化强化学习

    本文介绍了一种基于加权线性回归方案的计算有效算法，用于处理线性马尔可夫决策过程的强化学习问题。该算法实现了近似最小化最优遗憾，具有较好的效率，对参数化转换动态有良好的适应性，可以对研究领域进行更细致的探讨。

    Dec, 2022

  • 低秩MDPs下无奖励强化学习的样本复杂度改进

    本文研究了低秩MDP模型下无奖励强化学习及其算法。首先推导出该问题的最低样本复杂度下限，并提出了 RAFFLE 算法，通过无奖励探索可以在样本复杂度显著改善下找到epsilon-最优策略和epsilon-准确的系统识别。最后，提出了 RAFFLE 的规划算法，可学习到近乎准确的表示，是该环境下首个具有表示学习保证的算法。

    Mar, 2023

  • 低秩马尔可夫决策过程中的高效无模型探索

    VoX算法是首个可证明的高效的基于样本的搜索低阶马尔可夫决策过程算法，具备泛化功能近似且无需其他结构假设。该算法通过交替表示学习和策略优化，利用通用最优设计概念实现有效的最优设计计算。我们的分析简单而模块化，包括基于Frank-Wolfe方法的新型最优设计计算到策略优化的约简，以及对先前工作中某种特征嵌入的优化过的模块化分析。

    Jul, 2023

  • 稀疏线性MDP中的探索和学习，无需计算难解的预测器

    线性马尔科夫决策过程（MDP）中的特征选择和零稀疏线性MDP，以及通过凸规划有效计算的模拟器、低深度决策树上的区块MDP的学习算法。

    Sep, 2023

  • 在线线性$ q^π $可实现MDPs中的RL与线性MDPs一样简单，只要你学会忽略什么

    在线强化学习中的线性可实现的马尔可夫决策过程(MDP)，提出了一种计算效率较低的学习算法，通过跳过特定状态转化为线性 MDP，并证明了该算法在这种情况下具有多项式样本复杂度。

    Oct, 2023

  • 可证明有效的无限时间平均奖励强化学习与线性函数逼近

    本文提出了一种计算上可行的算法，用于学习无限时间平均奖励的线性马尔可夫决策过程（MDP）和线性混合MDP，满足贝尔曼最优性条件。该算法在保证计算效率的同时，对于线性MDP实现了已知的最佳后悔界限，具有显著的理论和实践意义。

    Sep, 2024