探究了有限状态 - 动作折扣马尔可夫决策过程的价值函数多面体结构，并使用超平面排列表征了多面体的边界。提出了一种新的算法 Geometric Policy Iteration (GPI) 来解决折扣 MDPs，它使用单个状态的策略更新，以更快的价值改进不影响计算效率，同时允许状态值的异步更新。证明了 GPI 的复杂度达到了策略迭代的最佳已知界限，并展示了 GPI 在各种大小的 MDPs 上的优越性。

Jun, 2022

本文提出了一种名为 GPOMDP 的基于模拟的算法，用于在部分可观测马尔可夫决策过程（POMDPs）中控制参数化随机策略，生成偏差估计的平均奖励梯度。

Jun, 2011

本文提出了一种模型无关的强化学习方法，通过对策略评估和策略改进之间的不一致性进行规范化，采取熵正则化策略改进，有效缓解两个 GPI 步骤之间的梯度冲突并避免落入次优解，该方法在 Arcade Learning Environment 上的实验证明在主要评估领域中优于几种强的基线。

May, 2021

介绍了一种新的多目标强化学习算法，使用广义策略提升来定义优先级，实现了积极的学习策略，在学习中获得更高效的样本，通过使用 Dyna 样式的 MORL 方法识别先前经验最相关的特定代理偏好的策略以提高学习效率，并证明了算法始终收敛于一个有限步数的最优解，同时单调地提高其部分解决方案的质量。

Jan, 2023

智能代理应该是综合性的，能够快速适应和推广不同的任务，提出了一种新的模型类别 - 广义占据模型（GOM），它在保留模型强化学习的综合性的同时避免累积误差，通过直接建模长期结果，GOM 既避免了累积误差，又在任意奖励函数下保持了综合性。

Mar, 2024

本篇论文探讨了基于多步贪婪策略在模型无关强化学习中的优势，并提出了基于 $\kappa$-Policy Iteration 和 $\kappa$-Value Iteration 的模型无关强化学习算法。通过实验表明这些算法对于某些任务的表现优于传统的强化学习算法如 DQN 和 TRPO。

Oct, 2019

通过开发一种从基于模型的规划到策略的蒸馏方法，我们扩展了软负责人 - 评论者算法（SAC）的策略改进步骤，并证明了这种方法在改进过程中具有单调性和收敛性的理论保证。

Jul, 2023

提出了回溯视角策略梯度（RHPG）算法，是第一个在学习最优线性估计器设计（即 Kalman 滤波器）方面具有可证明的全局收敛性的 PG 算法。这项工作旨在通过在算法设计和理论分析中利用经典控制理论，开发具有性能保证的强化学习算法，同时验证了该算法的有效性。

Sep, 2023

该研究利用图神经网络 (GNNs) 解决传统规划域的泛化策略学习问题。结果表明，这种方法可以获得最优性和广义性之间的平衡，从而实现泛化性能更好的规划。

May, 2022

该研究提出了一类广义政策提升算法，将在线算法和离线算法相结合，在保证策略改进的同时，实现了高效数据复用，为深度强化学习的实际应用提供了可行性。

Jun, 2022