KDDJun, 2020

带有不足支持的离线策略赌博机

PDF
TL;DR本文针对每日实际情况中，由于行动空间的限制，不能在所有情境下为每一个行动确定非零概率而产生的不足支持数据的问题，提出在限制行动空间、奖励外推和限制策略空间三个方法领域内提出的 IPS 补丁方法，分析了三种方法的统计性和计算性属性，并进行实证研究，提供了 I PS 方法学习时的实践指南。
contextual-bandit learningoff-policy learninginverse propensity score weightingsupport-deficiencypolicy space
发现论文，激发创造
  • 基于模拟策略的非珂环境下评估和学习记录型匪徒反馈反馈数据：通过替代策略减少误差

    本文介绍了一种新的名为 “最大似然反向倾向评分（MLIPS）” 的方法，用于从批量日志二手反馈中学习。与现有方法相比，MLIPS 不仅具有渐近无偏性，而且具有更小的均方根误差，表现出更好的性能。

    Aug, 2018

  • 基于上下文的赌博机中最优的自适应离线评估

    本研究旨在研究在没有相应奖励模型的情况下，通过使用由另一政策收集的数据来估算目标政策的价值的，上下文 Bandit 模型下的离线政策评估问题。所提出的 SWITCH estimator 可以使用现有的（不一定一致的）奖励模型来实现更好的偏差 - 方差平衡，从而在多个数据集上实现更好的表现。

    Dec, 2016

  • 通过优化概括方法评估推荐策略的离策略算法

    我们开发了一种用于预测多维动作的选择问题中离线策略评估的新方法，称为潜在 IPS（LIPS），它通过在低维抽象空间中优化抽象来最小化 LIPS 的偏差和方差，从而显著减小 IPS 的方差并避免对奖励函数结构进行过多的限制性假设，通过实证评估，我们证明 LIPS 在非线性奖励和大型抽象空间的场景中明显优于现有的评估方法。

    Feb, 2024

  • 模仿正则化的离线学习

    本研究讨论在上下文幸存者模型下自动化决策系统的离线学习问题，提出了一种通过策略改进和正则化来解决 IPWE 中参数估计不准的问题的方法。实验证明，该方法在无概率记录情况下比目前最先进的 CE 损失更准确，而在有概率记录的情况下，可以帮助我们排除混淆变量或模型规范化失误。

    Jan, 2019

  • 具有混淆偏差和缺失观察数据的情境赌博政策学习的统一框架

    研究离线情境下的由于未观测某些条件变量和数据缺失而引起的偏差和低效问题，提出了一种名为 CAP 的新算法，在数据的基础上形成奖励函数、建立置信区间，并通过悲观主义的方式贪心地采取行动来学习最优策略。

    Mar, 2023

  • 为离线评估学习动作嵌入

    本研究提出了一种使用训练好的奖励模型输出来定义 MIPS 动作嵌入的方法，该方法可以减少 IPS 在大规模动作空间中的方差，并扩展了 MIPS 的应用范围，在合成和实际数据上都优于预定义的嵌入和标准基线模型，不需要奖励模型类的假设，并支持使用其他动作信息来进一步提高估计精度。

    May, 2023

  • 不确定性感知的离线学习

    本研究通过显式建模不确定性，并提出一种不确定性感知的倾向得分估计器（UIPS），可改进离线策略优化，实验结果表明其比现有方法更具有样本效益。

    Mar, 2023

  • 分布式鲁棒批次情境式赌博机

    本文提出了一种利用历史观测数据解决偏移环境的分布鲁棒性策略学习算法，该算法通过提出的策略评估方案和基于均匀收敛理论的性能保证实现对敌对干扰和未知协变量转移的稳健性，并在真实世界数据集中展示了该方法的应用。

    Jun, 2020

  • 使用多个记录器生成的日志赌器反馈进行有效评估

    本文研究了如何利用历史数据来预测目标策略的性能，并提出了两种替代方法，相比于传统方法，能够更准确地评估交互式系统的新政策。

    Mar, 2017

  • 离线学习的指数平滑

    本文提出了一种对 IPS 进行正则化的方法，并推导出了一个可扩展的双边 PAC-Bayes 泛化界限，该界限适用于标准 IPS，证明了正则化 IPS 的实用性以及性能优越性，并提出了一种可以不需要正则化的区分情形。

    May, 2023