本文提出一种改进的基于 policy gradient 的强化学习算法，通过在参数空间中探索、重用过去的 off-policy 数据和确定性的行为策略等技术，提高了数据效率、降低了梯度估计的方差并避免了局部最优解。在一系列连续控制基准任务上的实验表明，相较于标准的 policy gradient 方法，该算法能够成功可靠地使用更少的系统交互来学习解决方案。

May, 2019

政策梯度方法是广泛应用于具有连续动作空间的任务的强化学习算法，本研究探讨了远离策略目标和传统的在线策略目标之间的差异，并提供了首个理论分析以及条件减小差距的经验证据。

Feb, 2024

本文研究了基于离线数据的深度强化学习算法，提出了一种新的策略相似度度量方法来提高算法的采样效率和泛化能力，并且证明了该方法可以实现安全的离线学习。实验证明，该方法相较于其他竞争算法在大多数情况下能够更高效地提高学习效率。

Aug, 2022

本文提出了一种新技术，将策略梯度与 Q-learning 相结合，通过回放缓冲提取 On-policy 数据，从策略的动作偏好中估计 Q 值，并应用 Q-learning 更新。实验结果表明，这种 PGQL 技术在全套 Atari 游戏中的性能超过了异步优势 actor-critic（A3C）和 Q-learning，能够提高数据效率和稳定性。

Nov, 2016

这篇论文介绍了一种名为 P3O 的简单算法，它交替运用 on-policy 和 off-policy 更新，使用 behavior policy 和 target policy 之间的有效样本量控制它们之间的距离，以降低强化学习算法的采样复杂度。在 Atari-2600 和 MuJoCo 基准套件上的实验表明，这种算法可以有效地降低现有算法的采样复杂度。

May, 2019

本文研究了如何在离线数据中高效地估计策略梯度。我们提出了一个元算法，在不需要参数假设的情况下实现了可行均方误差的渐进下界，并且具有三重双重稳健性质。我们还讨论了如何估计算法所依赖的干扰量。最后，我们证明了当我们朝着新的策略梯度方向迈出步伐时，我们接近稳态点的速度是有保证的。

Feb, 2020

该研究提出了一类广义政策提升算法，将在线算法和离线算法相结合，在保证策略改进的同时，实现了高效数据复用，为深度强化学习的实际应用提供了可行性。

Jun, 2022

本文提出了一种新的方法来预测在给定历史数据的情况下，加强学习策略的表现。通过在模型基础评估和重要性采样评估之间进行混合，提出一个基于双重稳健估计器扩展的新估计器，使得估计结果的均方误差通常比现有方法低几个数量级。

Apr, 2016

该论文提出了一种新的家族离线预测算法，通过构建一系列价值函数来实现稳定的模型迭代，算法收敛且可以有效的处理离线强化学习过程中的问题。

Jan, 2022

该研究针对 Markov 决策过程中的离策略策略优化问题，开发了一种新颖的离策略策略梯度方法，解决了基于之前行为策略采集数据的状态分布与学习策略下的状态分布不匹配的问题，并提供了该方法的理论收敛保证和实验验证。

Apr, 2019