Oct, 2021

在线目标Q学习与倒置经验回放：高效找到线性MDP的最优策略

HTML
PDF
TL;DR本文研究了在强化学习中常用的 Q-learning 算法，在理论和实践之间的差距，并提出了两种改进方法，分别为 Q-Rex 和 Q-RexDaRe，这两个方法能够更有效地找到线性马尔科夫决策过程的最佳策略并提供了采样复杂度的非渐近界限。
发现论文，激发创造
  • 非线性随机逼近的有限样本分析及其在强化学习中的应用

    研究了一种在Markovian噪声下的非线性随机逼近算法，证明了其具有不同学习速率的有限样本收敛界限，并证明了其适用于Q-learning算法。

    May, 2019

  • 元强化学习

    Meta-Q-Learning (MQL)是一种新的离线策略算法，它建立在三个简单的思想之上：使用过去轨迹的表示作为上下文变量可以使Q-learning与最先进的元RL算法相竞争；最大化训练任务的平均奖励的多任务目标是元训练RL策略的有效方法；从元训练回放缓冲区中获取的过去数据可以通过非策略更新来适应新任务，MQL借鉴了势估计的思想，从而增加了可用于适应的数据量。实验表明，与元RL的最新技术相比，MQL在标准的连续控制基准测试中表现得更好。

    Sep, 2019

  • Q-Learning算法是否达到Minimax最优性？一种紧凑的样本复杂度分析

    本文研究Q-learning同步和异步情况下的样本复杂性和子优秀性，并展示在异步情况下的样本复杂性更强，Q-learning算法是严格亚最优的。

    Feb, 2021

  • 离线强化学习的悲观Q学习：朝着最优样本复杂性的方向

    本文研究了离线强化学习的一个悲观策略Q-learning，针对有限时间的马尔科夫决策过程，通过单一策略密度函数的集中性假设，对其样本复杂度进行了表征，并提出了一种方差减小的悲观Q-learning算法来达到接近最优的样本复杂度。研究结果表明，在离线强化学习中，结合悲观策略和方差减小的模型无关型算法能够提高效率。

    Feb, 2022

  • 目标Q学习关于使用生成式Oracle求解有限MDPs的说明

    本文研究了利用目标网络解决深度强化学习Q学习算法在非目标策略情况下发散的问题，使用生成式神经模型研究了其样本复杂度，发现目标学习算法的样本复杂度是以1-γ为主导的，并且证明了引入周期性目标Q函数网络不会牺牲样本复杂度。

    Mar, 2022

  • 使用线性结构稳定Q学习，以实现证明有效的学习

    本文讨论了$Q$-learning算法的不稳定性问题，提出了一种基于探索的改进方案。该算法通过结合二阶更新，目标网络等机制，实现了线性MDPs的最新遗憾界限，并且算法设计独立于时间步长。此外，该算法表现出一定的实例依赖性，并且在近似误差更为宽松的条件下的性能下降比较缓慢。

    Jun, 2022

  • 在线线性$ q^π $可实现MDPs中的RL与线性MDPs一样简单，只要你学会忽略什么

    在线强化学习中的线性可实现的马尔可夫决策过程(MDP)，提出了一种计算效率较低的学习算法，通过跳过特定状态转化为线性 MDP，并证明了该算法在这种情况下具有多项式样本复杂度。

    Oct, 2023

  • 强化学习通用函数逼近的近乎最优低切换算法

    我们提出了新算法MQL-UCB，通过探索-利用困境实现了具有函数逼近的强化学习，解决了切换策略的成本和函数类复杂性的问题，同时在历史轨迹中利用了高数据效率，实现了最小化遗憾和最优切换成本。

    Nov, 2023

  • 部分动力学知识的高效强化学习

    本文研究在线强化学习的样本复杂性问题，并考虑了有关系统动态的部分知识，提出了一种基于Q-learning的算法，能够在具有有限Markov决策过程的系统中实现近似最优策略。

    Dec, 2023

  • 简化深度时序差异学习

    本论文研究了使用Q-learning和TD算法训练深度强化学习模型时的稳定性问题，并提出了一种无需目标网络即可收敛的TD算法PQN，该算法可以在不牺牲样本效率的情况下比传统DQN算法快50倍，使Q-learning再次成为RL算法的可行替代方案。

    Jul, 2024