泛用效用的强化学习变分策略梯度方法
本研究从非凸优化的角度出发，提出一种新的PG method变体，利用随机滚动谱估计策略梯度，实现策略梯度的无偏估计，并在严格鞍点假设下，证明了算法的收敛性。最终，实验证明，通过重新设计奖赏函数，可以避免不良鞍点并获得更好的极限点。
Jun, 2019
本文研究了策略梯度方法在强化学习中的应用，提供了在马尔可夫决策过程中对其计算、逼近和样本量特征的可证特征化，并探究了参数化策略和表格化策略参数化的差异，其中一个主要贡献是提供了平均情况下的逼近保证，通过与分布转变下的监督学习形式上的联系来避免了最坏情况下对状态空间大小的显式依赖。
Aug, 2019
本研究提出一种简单且有效的梯度截断机制，可用于加速政策梯度算法的变化减少技术，进而设计了一种名为TSIVR-PG的新方法，它不仅能够最大化累积奖励总和，还能在政策的长期访问分布上最大化一般效用函数，并对TSIVR-PG进行了理论分析。
Feb, 2021
本文研究策略梯度方法在Markov潜在博弈多智能体强化学习问题上的全局非渐进收敛性质，提出新的独立策略梯度算法，证明算法达到epsilon-Nash平衡的迭代复杂度为O(1/epsilon^2)，并在利用函数逼近的样本算法中，建立了样本复杂度为O(1/epsilon^5)的界限。同时，还找到了一类独立策略梯度算法，可在玩家对游戏类型无感知的情况下，实现零和马尔科夫博弈和合作马尔科夫博弈的收敛性。通过实验验证了理论成果的优点和有效性。
Feb, 2022
我们提出了一种更简单的单循环，无参数归一化策略梯度算法，用于解决具有一般效用的强化学习问题，其中包括约束强化学习，纯探索以及从演示中学习等问题，同时通过线性函数逼近解决大状态-动作空间的设置，并展示了简单的策略梯度法的样本复杂度。
Jun, 2023
通过最大化值函数来寻找感兴趣的策略的政策梯度方法在顺序决策、强化学习、游戏和控制中变得越来越受欢迎，然而，由于值函数的非凸性，保证政策梯度方法的全局最优性非常困难。本文重点介绍了近期在理解和开发具有全局收敛保证的政策梯度方法方面的进展，特别强调了其有关突出问题参数的有限时间收敛速度。
Oct, 2023
此研究论文介绍了一种名为 $f$-PG 的新型鼓励探索方法，通过最小化智能体状态访问分布与目标之间的 f-分歧来实现稀疏奖励环境下的优化策略，同时引入了熵正则化策略优化目标 $s$-MaxEnt RL 用于优化度量为 L2 的奖励，在多个环境中展示了与标准策略梯度方法相比更好的性能。
Oct, 2023
强化学习问题的非凸目标函数使得政策梯度算法收敛到一阶稳定点，但应用于无限时限贴现设置的实际实现包括Monte-Carlo方法和演员-评论家方法，在使用有偏梯度估计器的梯度下降更新时，已有的结果只考虑了无偏梯度估计器。我们通过利用非凸优化的证明技术，对有偏的政策梯度算法收敛到二阶稳定点的初步结果进行了展示，并旨在为演员-评论家算法提供首个有限时间的二阶收敛性分析。
Nov, 2023
通过梯度下降的原始对偶算法，我们提出了一种通用框架来解决受限强化学习问题，并介绍了基于动作和参数的版本C-PGAE和C-PGPE。我们在受约束控制问题上进行了数值验证，并与最先进的基准进行了比较，证明了算法的有效性。
Jul, 2024