仅具可实现性的批次值函数逼近

Aug, 2020

Batch Value-function Approximation with Only Realizability

Tengyang Xie, Nan Jiang

TL;DR该研究提出了一种batch reinforcement learning的学习算法BVFT，通过一种基于比较和分区的机制使得学习效率更高并且适用于其他问题和扩展。

Abstract

We solve a long-standing problem in batch reinforcement learning (RL): learning $Q^\star$ from an exploratory and polynomial-sized dataset, using a realizable and otherwise arbitrary function class. In fact, all

发现论文，激发创造

批量强化学习中的信息论考虑

本文探讨了在批处理模式下操作的值函数逼近方法，在有限样本和保证的前提下，分析了分布变化和强表示条件等假设的必需性和自然性，并提供了相关的理论结果。

May, 2019

带有线性函数逼近的可证明有效强化学习

本文提出了第一个在基于线性动态和线性奖励时，具有多项式运行时间和样本复杂度的可证明的强化学习算法，该算法可以在不需要模拟器或其他假设的情况下实现，具有快速速度且与状态和动作数量无关。

Jul, 2019

线性函数逼近下的最小化最优离线策略评估

本文研究利用函数逼近的批量数据强化学习的统计理论，针对离线策略评估问题提出了基于回归的适应Q迭代方法，证明该方法是信息理论上的最优方法，错误估计接近最小，进而提供容易计算的置信区间，该方法在乐观规划和安全策略改进中可能有用

Feb, 2020

批量强化学习中的Q*逼近算法：一个理论比较

本文涵盖了两种用于近似Q星算法在批量强化学习中表现的性能保证，并与传统的迭代方法进行了比较，证明了这些方法可以通过估计贝尔曼误差，仅依靠批数据和输出静态策略的算法，享受与任务无关的线性迭代时间性质。其中一种算法使用了新颖而明确的重要性加权校正，以克服贝尔曼误差估计中的“双重抽样”难题，并且没有使用任何平方损失。我们的分析揭示了与传统算法相比，其不同的特点和潜在优势。

Mar, 2020

使用线性函数逼近进行无奖励强化学习

在不需要奖励函数的情况下，在批量强化学习和多个奖励函数的领域中，代理人可以收集数据，然后使用线性马尔科夫决策过程设置中的线性转移和奖励来实现奖励免费强化学习，并得出一个算法的样本复杂度是多项式时间，与状态和动作的数量无关。

Jun, 2020

可证明的好的无须强探索批量强化学习

本文介绍了一种基于Bellman备份的批量强化学习算法，它采用一种更加保守的更新策略来提高输出策略的性能保证，并通过演示MDP示例和在标准基准测试中的实证比较来突出了我们保守更新的必要性和以前算法和分析的局限性。

Jul, 2020

批量强化学习的指数下界：相比在线强化学习，批量强化学习可能更加困难

本文介绍了在具有线性函数表示的情况下，在折扣无限时间MDPs中分别对策略和目标策略的价值进行估计时，即使存在实现性并观察到精确奖励和转移函数以及为问题类提供最佳先验数据分布，也派生出指数的信息论下限，并引入了一个新的“oracle+ batch algorithm”框架来证明适用于每个分布的底限。工作显示了批处理和在线强化学习之间的指数分离。

Dec, 2020

连续双重约束批次强化学习

本研究提出基于批次强化学习的算法，仅使用固定的离线数据集而非在线与环境的交互来学习有效策略，并通过策略约束和价值约束对数据集不足的情况进行干扰，实现对候选策略的控制，相比于现有的最新方法在多项连续动作批处理强化学习基准测试中表现优异。

Feb, 2021

强化学习中的计算统计差距

本文针对强化学习中的大状态空间问题，研究使用函数逼近的强化学习方法，并提出了寻找高效率算法的方案，同时探讨了计算难度与统计问题之间的关系。

Feb, 2022

强化学习中样本高效函数逼近的通用框架

本文提出了一个能够统一模型驱动和无模型驱动强化学习的通用框架，本框架中提出了一个可见证贝尔曼算法（ABC）类别，能够涵盖几乎所有文献中的马尔可夫决策过程（MDP）模型。结合该框架，本文提出了一个新的算法OPtimization-based ExploRation with Approximation（OPERA），能够在多种MDP模型中达到最小遗憾的上限。

Sep, 2022