Jun, 2022

使用线性结构稳定Q学习，以实现证明有效的学习

HTML
PDF
TL;DR本文讨论了$Q$-learning算法的不稳定性问题，提出了一种基于探索的改进方案。该算法通过结合二阶更新，目标网络等机制，实现了线性MDPs的最新遗憾界限，并且算法设计独立于时间步长。此外，该算法表现出一定的实例依赖性，并且在近似误差更为宽松的条件下的性能下降比较缓慢。
发现论文，激发创造
  • 非线性随机逼近的有限样本分析及其在强化学习中的应用

    研究了一种在Markovian噪声下的非线性随机逼近算法，证明了其具有不同学习速率的有限样本收敛界限，并证明了其适用于Q-learning算法。

    May, 2019

  • 通过分布偏移误差检查预示着的函数逼近$Q$学习的可证明高效性

    本文介绍了一种可证明有效的基于线性函数逼近的 $Q$-learning 算法，提出了 DSEC oracle 概念，该算法使用多项式数量的轨迹返回近似最优策略，并可用于设计和分析具有一般函数逼近的强化学习算法。

    Jun, 2019

  • 带有线性函数逼近的可证明有效强化学习

    本文提出了第一个在基于线性动态和线性奖励时，具有多项式运行时间和样本复杂度的可证明的强化学习算法，该算法可以在不需要模拟器或其他假设的情况下实现，具有快速速度且与状态和动作数量无关。

    Jul, 2019

  • 批量强化学习中的Q*逼近算法：一个理论比较

    本文涵盖了两种用于近似Q星算法在批量强化学习中表现的性能保证，并与传统的迭代方法进行了比较，证明了这些方法可以通过估计贝尔曼误差，仅依靠批数据和输出静态策略的算法，享受与任务无关的线性迭代时间性质。 其中一种算法使用了新颖而明确的重要性加权校正，以克服贝尔曼误差估计中的“双重抽样”难题，并且没有使用任何平方损失。 我们的分析揭示了与传统算法相比，其不同的特点和潜在优势。

    Mar, 2020

  • 在线目标Q学习与倒置经验回放：高效找到线性MDP的最优策略

    本文研究了在强化学习中常用的 Q-learning 算法，在理论和实践之间的差距，并提出了两种改进方法，分别为 Q-Rex 和 Q-RexDaRe，这两个方法能够更有效地找到线性马尔科夫决策过程的最佳策略并提供了采样复杂度的非渐近界限。

    Oct, 2021

  • VO$Q$L: 非线性函数逼近下无模型强化学习的最优遗憾

    该研究旨在通过引入新算法 VOQL，改进理论边界，并实现对线性MDP等函数类的回归任务进行计算上的高效且统计优化的可行性。

    Dec, 2022

  • 随机博弈的高效Q学习

    本文提出了新的高效Q学习动态应用于随机博弈，使智能体能够遵循阶段游戏中的对数线性学习动态，通过逐步迭代估计Q函数，实现高效平衡，并通过逐渐减小步长的方式使其收敛，同时还研究了 softmax 响应在此过程中产生的近似误差。

    Feb, 2023

  • Q-learning设计与乐观性的稳定性

    该论文介绍了Q-learning在强化学习工具中的重要性，提供了随机逼近和Q-learning的教程，并介绍了确保算法稳定性和加速收敛的新方法。其中两个新的贡献是解决了Q-learning中线性函数逼近的稳定性问题，以及设计了一种近似牛顿-拉普森流动的算法。

    Jul, 2023

  • 强化学习通用函数逼近的近乎最优低切换算法

    我们提出了新算法MQL-UCB，通过探索-利用困境实现了具有函数逼近的强化学习，解决了切换策略的成本和函数类复杂性的问题，同时在历史轨迹中利用了高数据效率，实现了最小化遗憾和最优切换成本。

    Nov, 2023

  • 带线性函数逼近的正则化 Q 学习

    通过在有限时间内收敛到线性函数逼近情况下的投影贝尔曼误差的单环路算法，本文提出的算法在马尔科夫噪声存在的情况下收敛于稳定点，并为该算法衍生的策略提供性能保证。

    Jan, 2024