本文介绍了一种新的计数乐观探索算法，可在高维状态-动作空间中使用，并提出了一个新方法来计算泛化状态的访问次数，从而解决了限制训练经验进行广义状态估计的问题。实验表明，该算法在高维RL基准测试中取得了接近最新的结果，且计算代价较低。

Jun, 2017

该研究旨在提高强化学习中采样效率，通过提出一种名为SRVR-PG的新型策略梯度算法，并对其进行了数值实验以验证其性能。

Sep, 2019

该研究通过引入泛函的方法，提出了一种新的策略梯度算法，用于解决马尔可夫决策问题中带通用上限效用函数的策略优化问题，并证明了其全局收敛性和收敛速度。

Jul, 2020

本文提出了新的政策镜反射（PMD）方法，用于解决具有强凸性或一般凸性正则化的强化学习（RL）问题，并使用不同的采样方案建立了这些问题的随机对应物。我们证明了PMD方法在快速收敛到全局最优解方面的线性速率，提出了计算这些正则化梯度的复杂度，并展示了此正则化的应用性。

Jan, 2021

本研究提出一种简单且有效的梯度截断机制，可用于加速政策梯度算法的变化减少技术，进而设计了一种名为TSIVR-PG的新方法，它不仅能够最大化累积奖励总和，还能在政策的长期访问分布上最大化一般效用函数，并对TSIVR-PG进行了理论分析。

Feb, 2021

本文介绍了基于价值的增强学习中的一种算法——Greedy-GQ以及其演化版的VR-Greedy-GQ，通过降低方差，提高了算法的收敛速度，显著减小了误差，同时证明了算法的收敛性和较小的采样复杂度，最后还得出了实验结果。

Mar, 2021

本文研究了将强化学习转化为一系列关于策略空间的经验风险最小化问题的样本复杂度问题。本文提出的共产主义政策迭代的方差递减变种可以将从O（ε^-4）到O（ε^-3）的功能局部最优解的样本复杂度改进。在状态覆盖和政策完整性的假设下，该算法在采样O（ε^-2）次后享有ε-全局最优性，这改善了以前已经建立的O（ε^-3）样本要求。

Dec, 2022

此研究论文介绍了一种名为 $f$-PG 的新型鼓励探索方法，通过最小化智能体状态访问分布与目标之间的 f-分歧来实现稀疏奖励环境下的优化策略，同时引入了熵正则化策略优化目标 $s$-MaxEnt RL 用于优化度量为 L2 的奖励，在多个环境中展示了与标准策略梯度方法相比更好的性能。

Oct, 2023

我们提出了一种新颖的算法，能够高效计算约束强化学习问题的近似最优确定性策略。该算法通过三个关键思想进行组合：（1）价值需求增强，（2）动作空间的近似动态规划，以及（3）时间空间的取整。在较弱的奖励假设下，我们的算法构成了一个对多样化成本准则的全多项式时间近似方案。该类准则要求以递归方式计算策略的成本，涉及时间和状态空间，包括经典期望、几乎确定和实时约束。我们的工作不仅为解决实际决策中的挑战提供了经过证明的高效算法，还为高效计算约束性确定性策略提供了统一的理论。

May, 2024

本研究解决在广义效用强化学习中占用度估计问题，提出了一种新的策略梯度算法PG-OMA，通过最大似然估计近似占用度。我们的主要发现是，该算法的样本复杂性分析表明，占用度估计误差仅与函数近似类的维度相关，不受状态-动作空间大小影响。

Oct, 2024