ICMLFeb, 2022

双重稳健分布稳健离线评估与学习

PDF
TL;DR本研究提出了基于 KL 散度不确定性集合的局部化双重稳健离线评估（LDR$^2$OPE）和连续双重稳健离线学习（CDR$^2$OPL）算法，用于应对观测数据的环境分布移位问题及未知倾向估计带来的方差挑战，其表现在模拟实验中得到验证，并进一步扩展到了一般的 $f$-divergence 不确定性集合。
off-policy evaluationdistributionally robust ope/ldoubly robust algorithmskl-divergence uncertainty setsregret rate
发现论文，激发创造
  • 更加健壮的双重偏差离线评估

    本文针对强化学习中的离策略评估问题，提出了一种名为 MRDR 的更加鲁棒的 Doubly Robust 估计方法，该方法通过最小化 DR 估计器的方差来学习模型参数，并在上下文决策和强化学习基准问题中进行评估，证明了其强一致性和渐进最优性。

    Feb, 2018

  • 估计记录策略的双重稳健离线策略评估

    该研究介绍了一种新的双鲁棒离策评估（OPE）估计器，用于未知的日志策略和价值函数情况下，能估计产生半参数下界的最小渐近方差。

    Apr, 2024

  • 基于级联行为模型的排序策略双重稳健离线评估

    提出了一种新的基于级联假设的有偏差 - 无方差权衡评估器来评估推荐系统中的排名策略，在综合合成和真实数据实验中优于现有评估器。

    Feb, 2022

  • Off-policy Evaluation 的非渐进置信区间：原始和对偶界限

    本文提出一种基于原始 - 对偶优化的算法，用于构建非渐进置信区间，该算法利用了 Feng 等人（2019 年）的核贝尔曼损失（KBL）和适用于具有未知混合条件的时间依赖数据的新的鞅集中不等式，明确展示了算法的优势。

    Mar, 2021

  • 马尔科夫决策过程中的双重强化学习，用于高效的离线策略评估

    这篇论文讲述了在马尔科夫决策过程中 (off-policy evaluation) 基于无记忆存储的状态、行动和奖励的情况下，使用交叉折叠法来计算 $q$-functions 和边际密度比率的双重强化学习 (DRL) 的有效性研究。研究表明，在第四次方根率下估算两个因素时，DRL 具有高效性，并且当仅一个因素一致时也具有双重正确性。

    Aug, 2019

  • 通过人工输入实现鲁棒的离策略评估

    本研究提出了一种基于领域知识的健壮离线评估框架 ROPE，具有针对特定环境特征进行偏移的特点，从而能更准确地评估政策的效用，并且通过医疗领域的合成和真实数据集的实验表明，该方法能够准确地捕捉现实情况下的偏移，并能得出更乐观的政策评估结果。

    Sep, 2022

  • 基于协变量偏移的对外有效性的非策略评估与学习

    该研究旨在探讨如何利用历史数据评估和训练新政策，避免协变量偏移的问题，并提出有效的估算器和比较其理论性质。

    Feb, 2020

  • 双重不均匀环境下的离线评估

    本篇文章提出了一种支持离线强化学习策略评估的新框架，该框架通过提出一种动态因子模型来处理强化学习中的双不均性，并在该框架下开发了一种同时支持基于模型和无模型方法的策略评估方法。与现有方法相比，该方法不仅假设具有统计学意义，也表现出更好的性能。

    Jun, 2023

  • 用双重强化学习高效突破离线策略评估中的时序限制

    本文研究了如何在强化学习中进行非策略评估 (off-policy evaluation)，当考虑马尔可夫和时间不变的结构时，给出了 OPE 的效率界限。我们开发了一种基于双重强化学习（DRL）的新估计器，利用我们推导出的高效影响函数来进行 OPE，并探讨了结构优化对 OPE 的性能提升。

    Sep, 2019

  • 在时间均匀、无奖励、任务不可知的情况下进行最优均匀 OPE 和基于模型的离线强化学习

    本研究利用基于模型的方法研究了离线策略评估问题的统一框架，对于一些有充分理论支持的离线任务提供了最优学习方案，研究了统一收敛的统计上限，并在局部统一收敛方面建立了统一高效的分析工具。

    May, 2021