可证明的好的无须强探索批量强化学习

Jul, 2020

可证明的好的无须强探索批量强化学习

Provably Good Batch Reinforcement Learning Without Great Exploration

Yao Liu, Adith Swaminathan, Alekh Agarwal, Emma Brunskill

TL;DR本文介绍了一种基于 Bellman 备份的批量强化学习算法，它采用一种更加保守的更新策略来提高输出策略的性能保证，并通过演示 MDP 示例和在标准基准测试中的实证比较来突出了我们保守更新的必要性和以前算法和分析的局限性。

Abstract

batch reinforcement learning (RL) is important to apply RL algorithms to many high stakes tasks. Doing batch RL in a way that yields a reliable new policy in large domains is challenging: a new decision policy may visit states and actions outside the support of the batch data, and func

batch reinforcement learning policy optimization bellman backup performance guarantees empirical comparison

发现论文，激发创造

连续双重约束批次强化学习

本研究提出基于批次强化学习的算法，仅使用固定的离线数据集而非在线与环境的交互来学习有效策略，并通过策略约束和价值约束对数据集不足的情况进行干扰，实现对候选策略的控制，相比于现有的最新方法在多项连续动作批处理强化学习基准测试中表现优异。

Feb, 2021

无探索非策略深度强化学习

本文提出了一种新的批量约束强化学习算法，该算法可以从任意固定批量数据中有效学习，为解决强化学习中的一些关键问题提供可能性。

Dec, 2018

批量强化学习的指数下界：相比在线强化学习，批量强化学习可能更加困难

本文介绍了在具有线性函数表示的情况下，在折扣无限时间 MDPs 中分别对策略和目标策略的价值进行估计时，即使存在实现性并观察到精确奖励和转移函数以及为问题类提供最佳先验数据分布，也派生出指数的信息论下限，并引入了一个新的 “oracle+ batch algorithm” 框架来证明适用于每个分布的底限。工作显示了批处理和在线强化学习之间的指数分离。

Dec, 2020

斯塔克伯格批量策略学习

本研究提出了一种基于 Stackelberg 的学习算法，用于批量强化学习中的政策学习问题，通过采用领导者 - 追随者结构的博弈论视角，该算法具有收敛性保证和对不同 iable Stackelberg 均衡的收敛性保证，实验证明其在批处理强化学习基准和真实世界数据集上表现良好。

Sep, 2023

基于批次的深度强化学习算法基准测试

本研究在 Atari 领域中利用单个部分训练的行为策略生成的数据对最近的离线策略和批量强化学习算法的性能进行了基准测试，并发现在这些条件下，许多算法表现不佳，而 Batch-Constrained Q-learning 算法适应离散动作环境后在这项任务中表现最佳。

Oct, 2019

分布式鲁棒强化学习

本文提出了一种基于风险规避的探索策略，使用分布式鲁棒策略迭代方案来确保学习过程中的安全，并在连续状态 / 操作空间中扩展了此方法，得出了分布式鲁棒软演员 - 批评家算法的实用算法。

Feb, 2019

批量强化学习中的信息论考虑

本文探讨了在批处理模式下操作的值函数逼近方法，在有限样本和保证的前提下，分析了分布变化和强表示条件等假设的必需性和自然性，并提供了相关的理论结果。

May, 2019

对话中隐含人类偏好的大规模脱靶批次深度强化学习

提出了一种新型的基于批处理的深度强化学习算法，可以在没有在线探索的情况下有效地从人类交互数据的固定批量中进行离线学习，并在开放域对话生成等领域取得了显著的改进。

Jun, 2019

离线强化学习的极简主义方法

通过在在线强化学习算法的策略更新中添加行为克隆项并规范化数据，在保持简单性的同时，最大限度地提高了运行效率，从而实现了与现有离线 RL 算法相当的性能。

Jun, 2021

高效深度强化学习需要控制过拟合

本文通过对 DeepMind 控制套件中的任务进行控制和系统性分析，研究了数据高效 RL 的瓶颈，发现高 TD 错误是深度强化学习算法性能严重影响的主要罪魁祸首，因此，在任何形式的监督学习中，利用任何形式的正则化技术，找到验证 TD 误差的最低点是使深度 RL 高效的一个强有力的原则。一个简单的在线模型选择方法针对验证 TD 错误在基于状态的 DMC 和 Gym 任务中也是有效的。

Apr, 2023