Feb, 2020

无限时间序列强化学习中具有混淆鲁棒性的策略评估

PDF
TL;DR通过数据策略辅助下的敏感性模型，我们开发了一种强健的方法，针对诸如教育和医疗等批量强化学习的应用中未被观察到的变量，估计了一个无限时间阶段内给定策略值的尖锐边界。我们证明，随着我们收集更多混淆数据，我们能够收敛于尖锐的边界。虽然检查集合成员身份是一个线性规划，但支持功能是由一个困难的非凸优化问题给出的。我们基于非凸投影梯度下降方法开发了一些近似，并在实证中演示了所得到的边界。
发现论文，激发创造
  • 具有潜在混淆因素的无限时段强化学习中的离线评估

    针对强化学习领域中的 Off-policy Evaluation 问题，本研究提出了一种基于无法观测到的干扰变量的无限时域 Markov 决策过程方法，并通过使用代理估计稳态分布比率以及最优化平衡等阶段性的方法，从 Off-policy 数据中识别政策价值。

    Jul, 2020

  • 混淆鲁棒政策改进

    研究使用观察数据学习个性化决策策略时如何考虑可能的未观测混杂因素以及最小化候选策略的最坏估计后悔的方法和算法，以在保证安全和关注证据改进的前提下得到可靠的个性化治疗策略。

    May, 2018

  • 抵消干扰稳健推理的凸框架

    我们研究了关于未观测到的混淆因素的离线情境赌博的政策评估。我们提出了一个通用的估计器，使用凸规划方法提供政策价值的一个锐利下界，具有各种扩展应用和强有力的理论保证。

    Sep, 2023

  • 针对未观察到的混淆因素的时序决策离线策略评估

    研究探讨当评估策略的绩效受到未观察到的混淆因素的影响时，如何通过开发最坏情况下的绩效边界来保证 OPE 方法的健壮性，并提出了一种计算最坏情况下边界的高效损失最小化过程，在两个模拟的医疗保健示例中证明了该方法的有效性。

    Mar, 2020

  • 无限时间步强化学习的黑盒离线评估

    本文提出了一种基于 Reproducing Kernel Hilbert Spaces（RKHS）的新估计器，用于解决长远时间内的 off-policy 估计问题，其不需要对行为策略的知识或基于其改进的数据进行抽样，并提出了一种可以消除当前做法局限性的解决方案。

    Mar, 2020

  • 健壮马氏决策过程中高效锐利的离策略评估

    在环境变化、干扰函数估计不一致和有限样本学习的情况下，本研究旨在评估策略值，并提出了一种扰动模型，可以根据转移观测对传统 MDP 进行边界估计。

    Mar, 2024

  • 离线推荐系统在未观察到的混杂下的评估

    此研究聚焦在推荐系统中存在未观察到的混淆因素时进行离线政策估计，强调了由于混淆因素导致的统计偏差问题，并探讨了可能的研究方向以减轻其影响。

    Sep, 2023

  • 无穷时间尺度下强化学习价值函数的统计推断

    本文提出了一种基于序列 / 筛选法的行动 - 值状态函数（Q 函数）来推导策略的置信区间以及递归更新估计策略及其价值估计器的 SequentiAl 值评估（SAVE）方法，以构建无限视野设置下策略价值的置信区间。在移动健康研究的数据集上进行了实验，结果表明强化学习算法有助于改善患者的健康状况。

    Jan, 2020

  • 强化学习中有解释的离线策略评估：突出具有影响力的状态转移

    本文提出了一种混合人工智能系统的方法，该方法可以通过关注数据中对 OPE 估计产生很大影响的观察点，并制定一组选择规则，使领域专家能够分析 OPE 估计的有效性。该方法可以应用在医学模拟和真实世界中的重症监护数据中，可以用于识别评估过程中的限制并使评估更加稳健。

    Feb, 2020

  • 在观测设置中去卷积强化学习

    该论文提出了一种通用的强化学习算法，针对观测数据中未观察到的因素（混杂因素）影响观察到的行为和奖励，学习从历史数据中得出好的策略，使用修改的 OpenAI Gym 环境和 MNIST 数据集开发了新的基准测试，并且证明了该算法在混淆的环境中的优越性。

    Dec, 2018