ICMLNov, 2015

强化学习的双重稳健性离线价值评估

PDF
TL;DR研究了强化学习中 off-policy value evaluation 的问题，提出了一种将 doubly robust estimator 用于序列决策问题的方法，可以保证无偏差并且方差较低，在多个基准问题中都具有较高的准确度，并且可以作为安全策略改进的子程序。
off-policy value evaluationreinforcement learningsequential decision-makingdoubly robust estimatorsafe policy improvement
发现论文，激发创造
  • 强化学习的高效离线策略评估

    本文提出了一种新的方法来预测在给定历史数据的情况下，加强学习策略的表现。通过在模型基础评估和重要性采样评估之间进行混合，提出一个基于双重稳健估计器扩展的新估计器，使得估计结果的均方误差通常比现有方法低几个数量级。

    Apr, 2016

  • 双重稳健策略评估与优化

    论文研究了在环境中收益只有部分观测可用的情况下如何进行顺序决策，提出了双重稳健估计技术用于政策评估和优化，证明了该方法在具有良好收益模型或过去政策模型的情况下都能产生准确的价值估计。

    Mar, 2015

  • 强化学习的双重稳健离线策略演员 - 评论家算法

    本文研究了离策略演员 - 评论家算法的离策略评论家评估问题，并通过将双重稳健估计方法应用于演员 - 评论家算法中，成功提高了连续控制任务的性能。同时，该方法还可以应用于存在高方差和不稳定性等问题的奖励信号，从而提高了强化学习的稳健性与安全性。

    Dec, 2019

  • 更加健壮的双重偏差离线评估

    本文针对强化学习中的离策略评估问题，提出了一种名为 MRDR 的更加鲁棒的 Doubly Robust 估计方法，该方法通过最小化 DR 估计器的方差来学习模型参数，并在上下文决策和强化学习基准问题中进行评估，证明了其强一致性和渐进最优性。

    Feb, 2018

  • 双重稳健策略评估与学习

    在具有上下文情境和目标函数的决策环境中，我们使用双重稳健技术评估新策略，并证明这种方法使价值估计具有较低的方差，且能达到更好的策略，为该领域提供一种有效的方法。

    Mar, 2011

  • 基于序列建模的强化学习离策略评估中使用双重策略估计的统计高效方差缩减

    提出了一种利用线下序列建模和线下强化学习相结合的双策略估计 (DPE) 的强化学习算法，具有统计上证明的方差降低性质，应用于多个 OpenAI Gym 中的任务，并在 D4RL 基准测试中取得了性能改进，优于基线方法，展示了序列建模强化学习中双策略估计的优势。

    Aug, 2023

  • 无限时域离策略估计中的双重稳健偏差降低

    本文提出了一种基于学习价值函数的无偏增强方法，可用于减小通常重要性采样 (IS) 估计器的方差，消除因密度比估计误差引入的潜在高偏差，并证明其具有双倍的稳健性。

    Oct, 2019

  • 在线估计和推断：强化学习中鲁棒政策评估

    我们在强化学习中开发了一种在线鲁棒的策略评估过程，并基于其巴哈多表示建立了我们估计器的极限分布。此外，我们还开发了一种完全在线的过程，以基于渐近分布进行高效的统计推断。本文将鲁棒统计与强化学习中的统计推断联系起来，为策略评估提供了一种更多功能和可靠性的方法。最后，我们通过在真实世界的强化学习实验中进行数值实验来验证我们算法的有效性。

    Oct, 2023

  • 收缩双重鲁棒离线评估

    提出了一个基于重要性权重收缩的新框架，用于设计背景依赖赌博机的估算器，得到了三个估算器，包括一个新的收缩估算器和第一个用于组合行动集的收缩估算器，并在基准问题中进行了广泛的实验，表明该估算器高度适应性，并且通常优于现有的方法。

    Jul, 2019

  • 通过规则化的定向学习实现更高效的离线策略评估

    本文介绍了基于因果推断的目标最大似然估计原理所提出的新型双重稳健的评估方法和多种方差减少技术，能够在多种强化学习环境和各种模型规范级别下比现有评估方法都能表现出更好的性能

    Dec, 2019