本文提出了一种基于 Reproducing Kernel Hilbert Spaces（RKHS）的新估计器，用于解决长远时间内的 off-policy 估计问题，其不需要对行为策略的知识或基于其改进的数据进行抽样，并提出了一种可以消除当前做法局限性的解决方案。

Mar, 2020

本文提出了一种基于学习价值函数的无偏增强方法，可用于减小通常重要性采样 (IS) 估计器的方差，消除因密度比估计误差引入的潜在高偏差，并证明其具有双倍的稳健性。

Oct, 2019

分析了新型 IS 方法中最流行的方法，通过有限 MDP 的条件蒙特卡罗视角发现，在有限 MDP 中，每决策的 IS 或固定采样 IS 的严格方差减少与普通 IS 相比没有优势。然后，提供了充分的条件，即决策或稳态估计将在有限的时间内在方差上超越 IS。针对渐近时间，提出了上下界并得出充分的条件，允许普通 IS 和每个决策或稳态估计之间存在指数 v.s. 多项式差异。通过这些结果，有助于推进我们对新型 IS 估计器何时提高离线策略评估准确性的理解。

Oct, 2019

该论文介绍了一种名为 SIS 的基于状态的重要性采样方法，用于解决强化学习中 target policy 的评估问题，并提供了一种基于协方差测试的自动搜索算法以确定最小均方误差的可忽略状态集。实验结果表明，与传统的重要性采样、逐决策重要性采样和增量重要性采样相比，SIS 具有更小的方差和更高的精度。

Dec, 2022

本研究提出了一种基于较小方差的边缘重要性抽样 (MIS) 的算法，用以解决 RL 中 long horizon MDP 的 Off-policy evaluation (OPE) 问题，并表现出在多个环境中的良好表现。

Jun, 2019

通过交替使用最小方差行为策略的对交叉熵估计和实际策略优化，结合防御性重要性采样，我们提供了一个迭代算法，理论上分析了该算法的收敛速度，并提供了经过数值验证的实际版本，展示了在策略梯度估计方差和学习速度方面的优势。

May, 2024

该文研究了强化学习的离线策略估值问题，介绍了传统的加权重要性采样算法在时间跨度上的方差爆炸问题，提出了一种基于边缘化重要性抽样算法的新方法，并对其进行了改进，但该算法的均方误差下限仍然不能与 Cramer-Rao 下界达到同阶，且仅限于有限动作空间的情况。

Jan, 2020

通过数据策略辅助下的敏感性模型，我们开发了一种强健的方法，针对诸如教育和医疗等批量强化学习的应用中未被观察到的变量，估计了一个无限时间阶段内给定策略值的尖锐边界。我们证明，随着我们收集更多混淆数据，我们能够收敛于尖锐的边界。虽然检查集合成员身份是一个线性规划，但支持功能是由一个困难的非凸优化问题给出的。我们基于非凸投影梯度下降方法开发了一些近似，并在实证中演示了所得到的边界。

Feb, 2020

学习多步骤离线数据集合的核心问题是强化学习中一项重要的问题。本文提出了一种新的、无 IS 影响的、多步骤离线方法，通过引入一个名为高速公路门的机制，使得算法能够有效地利用未来较远时刻的信息并收敛到最优值函数。在具有延迟奖励的任务中，我们的新方法超越了许多现有的多步骤离线算法。

May, 2024

本文提出一种新的，无模型的策略搜索算法，POIS，它适用于基于动作和基于参数的设置，可在连续控制任务中有效地解决强化学习问题，通过离线优化新的轨迹批次来定义一个替代目标函数，并使用高置信度界限来解决估计的目标函数方差问题。

Sep, 2018