May, 2024

悲观的脱机政策评估、选择和学习的对数平滑

HTML
PDF
TL;DR该研究调查了在线情境决策问题的离线公式化，其目标是利用在行为策略下收集的过往互动来评估、选择和学习新的、潜在更好性能的策略。通过采用悲观主义的原则构建对策略最坏情况性能的上限界，我们超越了点估计器，引入了对一类广泛的重要性加权风险估计器的新颖、完全经验的集中界。这些界足够一般，覆盖了大多数现有的估计器，并为新估计器的开发铺平了道路。特别地，在类别中寻求最紧密的界的追求激发了一种新的估计器（LS），该估计器对大的重要性权重进行对数平滑。LS的界证明比所有竞争者都紧，自然而然地导致改进的策略选择和学习策略。广泛的策略评估、选择和学习实验证明了LS的多样性和有利性能。
发现论文，激发创造
  • 基于上下文的赌博机中最优的自适应离线评估

    本研究旨在研究在没有相应奖励模型的情况下，通过使用由另一政策收集的数据来估算目标政策的价值的，上下文Bandit模型下的离线政策评估问题。所提出的 SWITCH estimator 可以使用现有的（不一定一致的）奖励模型来实现更好的偏差-方差平衡，从而在多个数据集上实现更好的表现。

    Dec, 2016

  • 通用动作空间中的平衡离线评估

    提出了平衡离线策略评估(B-OPE)的通用方法，通过将估计权重的风险最小化，减小了平衡不匹配的问题，其二分类解决方案可适用于所有操作类型，并且易于超参数调整，实验证明其在离线策略评估中得到应用。

    Jun, 2019

  • 收缩双重鲁棒离线评估

    提出了一个基于重要性权重收缩的新框架，用于设计背景依赖赌博机的估算器，得到了三个估算器，包括一个新的收缩估算器和第一个用于组合行动集的收缩估算器，并在基准问题中进行了广泛的实验，表明该估算器高度适应性，并且通常优于现有的方法。

    Jul, 2019

  • 通过自标准化的重要性权重实现自信的离线评估和选择

    该研究考虑在上下文匹配机器学习算法的偏离策略评估中，提出了一种新的方法——基于自归一化重要性权重估算目标策略的价值下界，并在合成和实际数据集上测试表明该方法可获得更优越的策略，包括更紧密的置信区间和选择的质量。

    Jun, 2020

  • 上下文臂带中的离线风险评估

    该论文提出了一种基于Lipschitz风险函数的离线策略评估框架，使用OPRA估算目标策略的CDF，提供了对任何Lipschitz风险集合的插值估计，具有同时保证整个类的有限样本保证，并使用重要性采样和双重稳健估计实例化OPRA。

    Apr, 2021

  • 具有混淆偏差和缺失观察数据的情境赌博政策学习的统一框架

    研究离线情境下的由于未观测某些条件变量和数据缺失而引起的偏差和低效问题，提出了一种名为CAP的新算法，在数据的基础上形成奖励函数、建立置信区间，并通过悲观主义的方式贪心地采取行动来学习最优策略。

    Mar, 2023

  • 上下文多臂老虎机的离线策略优化：高效的谨慎性

    本文介绍了一种称为`pessimistic policy optimization`的算法，用于处理contextual bandits中的策略优化问题，并提供了对于这种方法的最佳统计估计。该算法运用监督学习的方法，在离线交互日志的基础上进行训练，非常适用于处理连续和离散行为空间的问题。

    Jun, 2023

  • 抵消干扰稳健推理的凸框架

    我们研究了关于未观测到的混淆因素的离线情境赌博的政策评估。我们提出了一个通用的估计器，使用凸规划方法提供政策价值的一个锐利下界，具有各种扩展应用和强有力的理论保证。

    Sep, 2023

  • 重要性加权的线下学习方法

    离线策略优化, 随机情境赌博问题，重要性加权估计，隐性探索估计，PAC-Bayesian 策略类的改进

    Sep, 2023

  • 上下文强化学习中基于一般协变量转移的分布稳健策略评估

    我们介绍了一种分布健壮的方法，用于在背景变量移位下增强上下文赌博的离线策略评估的可靠性。通过应用分布健壮回归技术改进条件奖励分布的估计，我们开发出一套综合的策略价值评估器，并通过理论分析证明了该方法相对于传统方法在偏移较大时的有限样本上限优势。在广泛的策略评估场景中，我们的实证结果表明我们的方法明显优于基准方法。

    Jan, 2024