提出了一种广义的策略镜像下降算法 (GPMD) 以解决正则化强化学习问题，具有线性收敛特性，支持一般类别的凸正则化器，并在数值实验中得到验证。

May, 2021

本文提出了一种新的策略梯度方法，即基于块的策略镜像下降（BPMD）方法，用于解决一类带有（强）凸正则化器的强化学习（RL）问题，通过部分更新规则执行已采样状态上的策略更新，从而实现了每次迭代计算代价的降低，并且在分析多种采样方案时达到快速的线性收敛。

Jan, 2022

提出了一种新的策略梯度方法 —— 同伦策略镜像下降 (HPMD)，用于解决具有有限状态和动作空间的折扣、无限时间 MDPs，并具有多种计算性质。该方法在全局和局部上均具有收敛性，并且能够在一定条件下证明和表征极限策略。同时，使用该方法可同时获得非渐近最优策略和极大信息熵的极限策略，在不同 Bregman 散度之间进行扩展，以及是一些常见 Bregman 散度的有限时间精确收敛。

Jan, 2022

本文所提出的新算法不依赖于探索策略，通过引入两个新的基于策略的评估算符和对 SPMD 算法的新颖分析，实现了在线策略梯度方法的样本复杂度的近似上界，无需显式探索，可以避免在寻找最优策略时反复执行潜在的高风险动作，具有更强的收敛性能。

Mar, 2023

该论文探讨了基于在线凸优化的强化学习的新框架，特别是镜像下降及相关算法，提出了一种新的类似于梯度下降的迭代方法。其中，基于不同 Bregman 散度的抛物线梯度强化学习法比常规 TD 学习更为普适。还提出了一种新型的稀疏镜像下降强化学习方法，相比之前基于二阶矩阵方法的方法，在寻找一个 l1 正则化 Bellman 方程的稀疏不动点时具有显著的计算优势。

Oct, 2012

提出了一种名为 $h$-PMD 的新型 PMD 算法类，它将多步贪心策略改进与 PMD 更新规则相结合，以解决具有 lookahead 深度 $h$ 的折扣无限时间马尔可夫决策过程，并且拓展到线性函数逼近以适应大状态空间。

Mar, 2024

提出了一种称为镜像下降策略优化（Mirror Descent Policy Optimization，MDPO）的高效强化学习算法，MDPO 是一个迭代更新策略的算法，其目标函数由标准强化学习目标的线性化和一个限制连续策略之间接近的接近项组成，是由 MD 原则推导而来的，同时通过采取多个梯度步骤进行逼近。

May, 2020

本文使用镜像下降方法来解决深度神经网络优化算法中的隐含正则化问题。

Jun, 2023

研究无限时间折扣马尔可夫决策问题，并以策略空间的直接参数化研究投影策略梯度方法和一般类别的策略镜像下降方法的收敛速度，包括不需要熵或其他强凸正则化的自然策略梯度方法及投影 Q - 下降方法，并分析近似策略镜像下降方法的收敛速度和样本复杂性估计。

Jan, 2022

深度策略算法解决高维度策略优化问题取得了巨大成功，但目前的分析无法解释它们为何对维度诅咒具有抵抗能力。本研究以卷积神经网络作为函数逼近器，研究了神经策略镜像下降 (NPMD) 算法的样本复杂性。通过观察高维度环境具有低维结构的经验现象，例如图像作为状态的环境，我们认为状态空间是嵌入在欧几里得空间中的 d 维流形，其中 d 远小于 D。我们证明在 NPMD 的每次迭代中，值函数和策略都可以很好地近似于卷积神经网络。逼近误差由网络的大小控制，并且可以继承以前网络的平滑性。因此，通过适当选择网络大小和超参数，在期望中，NPMD 可以通过大约 O (ε^(-d/α-2)) 个样本找到一个 ε- 最优策略，其中 α ∈ (0,1] 表示环境的平滑性。与以前的研究相比，我们的结果显示 NPMD 可以利用状态空间的低维结构，摆脱维度诅咒，从而解释深度策略算法的有效性。

Sep, 2023