Feb, 2021

极小化离线强化学习的有限样本分析：完备性，快速速率和一阶效率

PDF
TL;DR本文从函数逼近和 $q$ 函数的角度，通过最新的极小极大方法对离线策略评估 (OPE) 在强化学习中进行了理论刻画，并基于此结果分析了 OPE 的收敛速度和新的完备条件，提出了第一种在非表格环境下具有一阶效率的有限样本结果。
off-policy evaluationreinforcement learningfunction approximationminimax methodsconvergence rates
发现论文，激发创造
  • 线性函数逼近下的最小化最优离线策略评估

    本文研究利用函数逼近的批量数据强化学习的统计理论，针对离线策略评估问题提出了基于回归的适应 Q 迭代方法，证明该方法是信息理论上的最优方法，错误估计接近最小，进而提供容易计算的置信区间，该方法在乐观规划和安全策略改进中可能有用

    Feb, 2020

  • 离线评估和策略优化的极小极大值区间

    该研究使用价值函数和边际重要性权重研究了最小极小化方法在离线策略评估中的应用，结合两种不同风格的方法，提出了一个特殊类型的双重稳健方法，解决了偏见问题，同时还探索了其在数据覆盖不足的离线策略优化中对探索和开发的影响。

    Feb, 2020

  • 自适应数据采集的增强学习离线策略评估

    本文针对相对于通常的数据收集方式更加广义的数据收集方式下离线 RL 算法的理论保证问题进行研究，并探讨 TMIS Offline Policy Evaluation 在 tabular MDPs 下的最小最优保证问题及实验分析。

    Jun, 2023

  • 线性函数逼近下的方差感知离线评估

    本研究旨在通过使用值函数的方差信息提高离线策略评估中的样本效率，其中针对非时变线性马尔可夫决策过程（MDPs），提出了 VA-OPE 算法，使用值函数的方差对 Fitted Q-Iteration 中的 Bellman 残差进行重新加权，并且我们展示了我们的算法比最好已知的结果实现了更紧密的误差界限。我们对行为策略和目标策略之间的分布变化进行了细致的描述，而广泛的数值实验也支持了我们的理论。

    Jun, 2021

  • 学习 Bellman 完整表示以进行离线策略评估

    该研究提出了一种名为 “BCRL” 的算法，用于学习线性 Bellman 完备的表示，并用于离线策略评估，同时在图像基础的连续控制任务中表现出较好的性能。

    Jul, 2022

  • 基于偏好的非参数离策略深度网络评估的样本复杂性

    使用深度神经网络通过学习值函数来逼近离线策略评估，从人类偏好数据中获取样本效率，而不受高数据环境维度束缚。

    Oct, 2023

  • 强化学习离线策略评估中的近最优可证明一致收敛

    该研究旨在解决强化学习中离线策略评估问题，通过同时评估策略类别中的所有策略，实现一致收敛，并获得了多种全局 / 局部策略类别的近乎最优误差界限。

    Jul, 2020

  • 马尔科夫决策过程中的双重强化学习，用于高效的离线策略评估

    这篇论文讲述了在马尔科夫决策过程中 (off-policy evaluation) 基于无记忆存储的状态、行动和奖励的情况下，使用交叉折叠法来计算 $q$-functions 和边际密度比率的双重强化学习 (DRL) 的有效性研究。研究表明，在第四次方根率下估算两个因素时，DRL 具有高效性，并且当仅一个因素一致时也具有双重正确性。

    Aug, 2019

  • 适用于非政策评估的极大极小权重和 Q 函数学习

    本文探讨了强化学习中的离线评估问题，提出了两种新的重要比率估计器，并给出了样本复杂度分析和渐进优化等结果。

    Oct, 2019

  • 分布鲁棒离线强化学习的极小极大最优和计算高效算法

    分布式鲁棒离线强化学习是针对环境扰动进行鲁棒策略训练的一种方法，当面对大规模状态 - 动作空间时需要进行函数逼近。本研究提出了一种最小极大值最优算法，通过对线性参数化的模型进行实现，探索了实例依赖次优性分析在鲁棒离线强化学习中的应用，并揭示了鲁棒离线强化学习中的函数逼近与标准离线强化学习所面临的困难之间的本质区别。

    Mar, 2024