Sep, 2023

分布偏移感知的离策略区间估计：一种统一的误差量化框架

PDF
TL;DR我们研究了基于无限时域马尔科夫决策过程的高置信度离策略评估，目标是仅使用预先收集的来自未知行为策略的离线数据建立目标策略值的置信区间。通过创新的统一误差分析，我们共同量化了建模边际化重要性权重的错误以及由抽样引起的统计不确定性这两个估计误差的来源，揭示了先前隐藏的错误权衡问题。通过精心设计的判别函数，我们提出的估计器既能打破错误权衡的限制以获得可能的最紧的置信区间，又能适应分布偏移以保证鲁棒性。我们的方法适用于时间相关的数据，不需要假设任何弱依赖条件，通过利用局部超值 / 鞅结构。在非线性函数近似设置中，理论上证明了我们的算法具有高效采样、错误鲁棒和可证收敛性。所提方法在合成数据集和 OhioT1DM 移动健康研究中得到了数值性能的验证。
发现论文，激发创造
  • 无限时域离策略估计中的双重稳健偏差降低

    本文提出了一种基于学习价值函数的无偏增强方法，可用于减小通常重要性采样 (IS) 估计器的方差，消除因密度比估计误差引入的潜在高偏差，并证明其具有双倍的稳健性。

    Oct, 2019

  • CoinDICE：离线策略下置信区间估计

    本研究提出了一种新的算法 CoinDICE，用于估计目标策略的价值的置信区间，有效地解决了强化学习中关于行为无关离线评估的问题。

    Oct, 2020

  • 超越回报：基于用户指定的误差测量分布的离线策略评估

    本文提供了在可行性前提下，通过在 MIS 目标上施加适当的规范化对离线策略函数估计提供保证，并提供了优化对偶解的确切特征化方法，该解决方案需要由鉴别器类实现，这决定了在值函数学习的情况下数据覆盖假设。

    Oct, 2022

  • 健壮马氏决策过程中高效锐利的离策略评估

    在环境变化、干扰函数估计不一致和有限样本学习的情况下，本研究旨在评估策略值，并提出了一种扰动模型，可以根据转移观测对传统 MDP 进行边界估计。

    Mar, 2024

  • 利普希茨价值迭代的异策略区间估计

    研究提出了用于获得一般连续情况下离线策略评估的区间界限的可证明正确的方法，该方法基于搜索与观察一致的所有 Lipschitz Q 函数中期望奖励的最大和最小值，进而引入了 Lipschitz 值迭代方法以加紧区间，可以在一定程度上提高部分高风险应用的效率。

    Oct, 2020

  • 马尔可夫决策过程中的弱分布重叠下的离策略评估

    在马尔可夫决策过程的顺序忽略性下，具有两重鲁棒性的方法在离线策略评估中具有良好的性能，通过引入一种截断两重鲁棒估计器，该方法能够在不满足强分布重叠假设的情况下实现准确的离线策略评估。

    Feb, 2024

  • 表格式强化学习非渐近有效的离线策略评估

    该文研究了强化学习的离线策略估值问题，介绍了传统的加权重要性采样算法在时间跨度上的方差爆炸问题，提出了一种基于边缘化重要性抽样算法的新方法，并对其进行了改进，但该算法的均方误差下限仍然不能与 Cramer-Rao 下界达到同阶，且仅限于有限动作空间的情况。

    Jan, 2020

  • 无限时间步强化学习的黑盒离线评估

    本文提出了一种基于 Reproducing Kernel Hilbert Spaces（RKHS）的新估计器，用于解决长远时间内的 off-policy 估计问题，其不需要对行为策略的知识或基于其改进的数据进行抽样，并提出了一种可以消除当前做法局限性的解决方案。

    Mar, 2020

  • 分布式强化学习的估计与推断

    本研究从统计效率的角度研究了分布式强化学习，重点研究了分布式策略评估问题，通过使用确定等价方法构建了一个估计器以解决样本效率问题，并研究了估计器的渐近行为。

    Sep, 2023

  • 打破视野的诅咒：无穷视野离线估计

    本文提出了一种新的离线策略估计方法，其中将重要性采样直接应用于平稳态访问分布，从而避免了现有估计器所面临的方差爆炸问题。通过仅从行为分布中采样轨迹，我们开发了一种估计密度比的新方法，并为估算问题设计了 mini-max 损失函数，并推导出了 RKHS 情况下的封闭形式解决方案。

    Oct, 2018