本文研究线性函数逼近下无穷时域离线强化学习的策略评估的样本复杂性以及分布漂移假设下的算法，提出了算法的样本复杂性的下界，以及样本复杂性的上界。
Mar, 2021
本研究旨在通过使用值函数的方差信息提高离线策略评估中的样本效率，其中针对非时变线性马尔可夫决策过程（MDPs），提出了 VA-OPE 算法，使用值函数的方差对 Fitted Q-Iteration 中的 Bellman 残差进行重新加权，并且我们展示了我们的算法比最好已知的结果实现了更紧密的误差界限。我们对行为策略和目标策略之间的分布变化进行了细致的描述，而广泛的数值实验也支持了我们的理论。
Jun, 2021
通过在有限时间内收敛到线性函数逼近情况下的投影贝尔曼误差的单环路算法，本文提出的算法在马尔科夫噪声存在的情况下收敛于稳定点，并为该算法衍生的策略提供性能保证。
Jan, 2024
分布式鲁棒离线强化学习是针对环境扰动进行鲁棒策略训练的一种方法，当面对大规模状态 - 动作空间时需要进行函数逼近。本研究提出了一种最小极大值最优算法，通过对线性参数化的模型进行实现，探索了实例依赖次优性分析在鲁棒离线强化学习中的应用，并揭示了鲁棒离线强化学习中的函数逼近与标准离线强化学习所面临的困难之间的本质区别。
Mar, 2024
本文提出了一种基于悲观主义的离线线性 MDP 算法，核心是使用参考函数进行不确定性分解并利用理论分析证明，该算法可以匹配性能下限并且该技术可以扩展到两人零和马尔可夫博弈，验证了算法的极小极大最优性。这是目前关于使用线性函数逼近的单智能体 MDPs 和 MGs 的第一个有效的极小极大最优算法。
May, 2022
本文介绍了一种基于加权线性回归方案的计算有效算法，用于处理线性马尔可夫决策过程的强化学习问题。该算法实现了近似最小化最优遗憾，具有较好的效率，对参数化转换动态有良好的适应性，可以对研究领域进行更细致的探讨。
Dec, 2022
本文研究了在平均奖励 MDP 中具有函数逼近的异策略策略评估问题，提出了两种新算法来解决德雷德三元组问题，这是首个求解微分值函数的收敛离线线性函数逼近算法，同时也是首个无需估计密度比的收敛离线线性函数逼近算法，并在简单域和挑战的机器人仿真任务中进行了经验证明。
Jan, 2021
该研究考虑使用深度卷积神经网络对强化学习的离线策略评估问题进行分析，发现通过适当选择网络大小，可以利用马尔科夫决策过程中的任何低维流形结构，获得一个高效的估计器。同时，该研究还提出一种新的逼近算法，并在数值实验中验证理论分析。
Jun, 2022
本论文介绍了一种用于解决强化学习中有限数据和训练测试环境不匹配的问题的分布式离线 RL 方法，该方法使用历史数据学习分布式鲁棒的策略，包括线性函数逼近的情况，提出了两种算法，得出了第一个样例复杂度的非渐近性结果，并展示了其在实验上的优越性。
Sep, 2022
本文从函数逼近和 $q$ 函数的角度，通过最新的极小极大方法对离线策略评估 (OPE) 在强化学习中进行了理论刻画，并基于此结果分析了 OPE 的收敛速度和新的完备条件，提出了第一种在非表格环境下具有一阶效率的有限样本结果。
Feb, 2021