本文提出了第一个在基于线性动态和线性奖励时，具有多项式运行时间和样本复杂度的可证明的强化学习算法，该算法可以在不需要模拟器或其他假设的情况下实现，具有快速速度且与状态和动作数量无关。

Jul, 2019

开发多种学习用于Markov Decision Processes的无限时间平均奖励设置和线性函数逼近的算法，使用乐观原则和假设MDP具有线性结构，提出具有优化的计算效率的算法，并展开了详细的分析，改进了现有最佳结果。

Jul, 2020

这篇研究采用线性函数逼近的方法来应用强化学习在马尔科夫决策过程中，通过衡量合适的指标来保证奖励和状态转移函数变化的幅度不超过一定的上限，提出了两种最优算法：LSVI-UCB-Restart和Ada-LSVI-UCB-Restart。该研究还为非平稳MDP和线性MDP提供了动态遗憾分析的理论支持，并进行了有效性验证。

Oct, 2020

该研究探讨了使用线性函数逼近的强化学习，提出了新的线性MDP假设，并通过实验证明了具有对最优行动价值函数的正增量的情况下可以获得对数后悔界限。

Nov, 2020

本文研究了具有线性函数逼近的增强学习，其中马尔科夫决策过程（MDP）的潜在转移概率核心为线性混合模型，并且学习代理具有单个基础核函数的积分或采样神谕的访问。 基于我们提出的新的Bernstein型自归一类化不等式，我们提出了一种名为$ ext{UCRL-VTR}^{+}$的新的计算有效算法，以进行具有线性函数逼近的线性混合MDPs的无折扣情况。 我们还提出了新的算法$ ext{UCLK}^{+}$，适用于同一类MDP的折扣情况，这两种算法分别在最小化最大性上达到了近乎最小值，是线性函数逼近RL的第一篇计算有效性，近乎最小值的论文。

Dec, 2020

本文研究含对手的强化学习中马尔科夫决策过程的学习问题，并提出了一种乐观的策略优化算法POWERS，该算法可以达到近似最小化的最优遗憾，并证明了该算法的上下界。

Feb, 2021

本文研究线性函数逼近的无奖励强化学习与马尔可夫决策过程，并提出了一种新算法UCRL-RFE，其中使用线性函数对状态、动作和下一个状态进行特征映射，能够在探索阶段最多采样$\tilde{\mathcal{O}}(H^5d^2\epsilon^{-2})$周期，用于构建奖励函数并实现任意奖励下的$\epsilon$-最优策略。

Oct, 2021

本研究基于鲁棒Catoni平均值估计器，提出一种新的鲁棒自归一化浓度界，解决了已有技术在大状态空间强化学习中无法获得遗憾上界的问题，并证明了在线性MDP设定下，可以获得与最优策略性能某种度量成比例的遗憾上界。

Dec, 2021

本文介绍了一种基于加权线性回归方案的计算有效算法，用于处理线性马尔可夫决策过程的强化学习问题。该算法实现了近似最小化最优遗憾，具有较好的效率，对参数化转换动态有良好的适应性，可以对研究领域进行更细致的探讨。

Dec, 2022

本文提出了一种计算上可行的算法，用于学习无限时间平均奖励的线性马尔可夫决策过程（MDP）和线性混合MDP，满足贝尔曼最优性条件。该算法在保证计算效率的同时，对于线性MDP实现了已知的最佳后悔界限，具有显著的理论和实践意义。

Sep, 2024