May, 2018

一种适用于具有任意变换奖励和转移的马尔科夫决策过程的滑动窗口算法

HTML
PDF
TL;DR提出一种滑动窗口算法，针对变化的马尔可夫决策过程，同时考虑状态转移概率和奖励函数的变化。对于该问题，我们提供了性能保证，并表征了适用于我们算法的最优窗口大小。同时，我们还给出了算法采取的子优步数的样本复杂度界限以及一些实验结果来支持我们的理论分析。
发现论文，激发创造
  • 学习未知马尔可夫决策过程: 一种汤普森抽样方法

    本文提出了一种基于贝叶斯的Thompson Sampling加持的动态时段算法(TSDE)，尝试在无限的时间尺度内解决了一个学习未知MDP的问题，实现了很好的性能并达到了理论界限。

    Sep, 2017

  • 强化学习的变分遗憾界

    该研究针对马尔可夫决策过程中的无折扣强化学习问题提出了一种算法，并提供了针对最优非静态策略的性能保证。给出了在MDP总变差方面的差错的上限，这是一般强化学习设置的第一个变分差错界限。

    May, 2019

  • 非静态马尔科夫决策过程的强化学习：（更多）乐观的祝福

    本研究使用不打折扣的强化学习方法，针对马尔可夫决策过程中的漂移非稳定性问题，提出了Sliding Window Upper-Confidence bound for Reinforcement Learning with Confidence Widening算法和Bandit-over-Reinforcement Learning算法，并证明了它们的动态后悔限制及其在参数不确定性情况下的适应性。

    Jun, 2020

  • 平均奖励马尔科夫决策过程的学习和规划

    本研究提出了一种基于平均报酬MDPs的学习和规划算法，其中包括第一种无参考状态的普遍证明收敛的无模型控制算法、第一个证明收敛的无政策自由预测算法，以及第一个离线学习算法，其收敛于实际值函数而不是值函数增加一个偏移量。在使用时间差错错误而不是常规错误更新平均报酬估计时，我们的所有算法都基于此。

    Jun, 2020

  • 具有loglog(T)切换成本的高样本效率强化学习

    本文针对实际强化学习应用中新策略部署的高成本和策略更新次数必须较少的问题，提出了一种基于分阶段探索和自适应策略消除算法，实现了在低换乘成本下的回报 并且在已知的换乘成本中实现了指数级的改善。

    Feb, 2022

  • 关于马尔可夫决策过程的奖励结构

    马尔可夫决策过程在强化学习中起着关键作用，本研究探讨了多种与强化学习相关的'成本'，研究了策略评估的样本复杂度，并开发了一种具有实例特定误差界限的新估计器；在在线遗憾最小化设置下，通过引入基于奖励的常量和基于潜力的奖励塑形技术，提供了理论上的解释；提出了一种安全强化学习研究方法，建立了重置效率的量化概念；针对具有多个奖励函数的决策过程，开发了一个能够计算出帕累托最优随机策略的规划算法。

    Aug, 2023

  • 无限时标平均奖励马尔可夫决策过程中策略梯度算法的遗憾分析

    本文研究了无限时间段平均回报马尔可夫决策过程（MDP）。与现有研究不同的是，我们采用了基于通用策略梯度的算法，使其摆脱了线性MDP结构的约束。我们提出了一种基于策略梯度的算法，并证明了其全局收敛性质。然后我们证明该算法具有$\tilde{\mathcal{O}}({T}^{3/4})$的后悔度。值得注意的是，本文是第一次对于一般参数化策略梯度算法在平均回报情景下的后悔计算进行了探索性研究。

    Sep, 2023

  • 平均奖励约束下有效的强化学习探索：通过后验抽样实现接近最优的遗憾

    基于后验抽样的新算法在无限时间视野下的有约束马尔科夫决策过程学习中实现了几乎最优的悔恨界限，并在实践中相比现有算法具有优势。

    May, 2024

  • 非平稳环境下的滑动窗口汤普森采样

    本研究针对传统算法在动态环境中失效的问题，提出了两种基于汤普森采样的新算法：BETA-SWTS和$\gamma$-SWGTS，以适应非平稳设定的复杂性。通过推导一般化的遗憾公式，我们提供了对不同奖励环境下算法误差的深入分析，强调了此研究在处理突变和平滑变化环境中的潜在影响。

    Sep, 2024

  • 非平稳环境下的滑动窗口汤普森采样

    本研究解决了传统强盗算法在非平稳环境中表现不佳的问题。提出了两种基于汤普森采样的算法（BETA-SWTS和γ-SWGTS），并推导了任意强盗环境中后悔值的一般公式。研究结果对理解算法在不同非平稳环境（如剧烈变化和缓慢变化）中的表现具有重要意义。

    Sep, 2024