Dec, 2019

基于神经网络函数逼近的 Q 学习的有限时间分析

PDF
TL;DR本文提出了一种有限时间的神经 Q 学习算法，其中数据是从 Markov 决策过程中生成的，动作价值函数由 Deep ReLU 神经网络逼近，我们证明了如果神经功能逼近器被足够过度参数化，神经 Q 学习可以找到具有 O（1 / 根号 T）收敛速度的最优策略，并且该结果是对非 i.i.d 数据假设的首次有限时间分析。
发现论文，激发创造
  • 改进的有限时间分析：基于深度神经网络的时差学习

    本文基于非线性的动作价值逼近，对具有神经网络函数参数化的时序差异（TD）学习算法进行改进的有限时间分析，得到了一种改进的新的样本复杂度 Ο̃(ε^(-1))，在马尔可夫采样下取得了 Ο̃(ε^(-1)) 的复杂度，相比现有文献中已知的 Ο̃(ε^(-2)) 复杂度是第一次实现的研究。

    May, 2024

  • 神经时序差分和 Q-learning 可以被证明收敛于全局最优解

    通过超参数化来解决 neural TD 的优化非线性问题，证明了 neural TD 在策略评估中以次线性速率收敛于均方 Bellman 误差的全局最优解，并进一步连接到策略梯度算法的全局收敛。

    May, 2019

  • 带线性函数逼近的正则化 Q 学习

    通过在有限时间内收敛到线性函数逼近情况下的投影贝尔曼误差的单环路算法，本文提出的算法在马尔科夫噪声存在的情况下收敛于稳定点，并为该算法衍生的策略提供性能保证。

    Jan, 2024

  • 基于 Whittle 指数的有限时间分析：带有神经网络函数逼近的不安定多臂赌博机上的 Q 学习

    基于神经网络函数逼近的 Whittle 指数的 Q - 学习算法 Neural-Q-Whittle 解决不断变化的多臂赌博机问题，通过耦合两个时间尺度的 Q - 函数和 Whittle 指数，提供了 Neueral-Q-Whittle 的收敛速率为 O (1/k^(2/3)) 的有限时间分析。

    Oct, 2023

  • 深度 Q 学习算法瓶颈的诊断

    本研究通过实验调查了 Q-learning 方法在深度强化学习中的潜在问题，并提出了基于神经网络结构的新型采样方法，在高维连续控制领域中获得了显着的改进。

    Feb, 2019

  • 最近邻 Q 学习

    该论文研究利用最近邻回归方法的最近邻 Q 学习算法，从单一样本路径中学习具有连续状态空间和未知转移核的无限期贴现 MDPs 的最优 Q 函数，提供了紧密的有限样本收敛速率分析和样本复杂度。

    Feb, 2018

  • 深度 Q 学习的理论分析

    本论文从算法和统计角度出发，对深度强化学习中的深度 Q 网络算法进行了理论分析，并给出了收敛速率。作者还提出了 Minimax-DQN 算法，并将其与马尔可夫博弈的 Nash 均衡进行收敛速率的比较。

    Jan, 2019

  • 关于使用双层神经网络参数化的 Fitted Q-Iteration 的全球收敛性

    本文研究了一种采用双层 ReLU 神经网络参数化的 Fitted Q-Iteration 算法，通过估计 Q-function 的凸优化问题来实现每次迭代的 Q-function，证明了该方法在具有计数状态空间的情况下可以实现采样复杂度为 $\widetilde {O}(1/ε^2)$。

    Nov, 2022

  • 使用非线性函数逼近优化 Zap Q-Learning

    该研究介绍了一种新的递归算法分析框架，其中包括 Zap Q-learning，使用神经网络功能逼近，经多次实验证明该算法具有快速收敛性和适应多种功能逼近结构的特点。

    Oct, 2019

  • 深度强化学习：凸优化方法

    本研究针对具有连续状态和动作空间的非线性系统考虑强化学习问题，提出了一种基于两层神经网络逼近最优 Q - 函数的序列学习算法，通过凸优化确保每个序列的权重得到最优化，针对稳定的非线性系统，证明了该算法的收敛性，并且训练得到的神经网络参数收敛到最优参数，两者之间的距离随着正则化参数的减小和时间跨度的增加变得任意小。

    Feb, 2024