本文使用生成模型证明了在马尔可夫决策过程中，基于值迭代算法的样本复杂度PAC上限为O(Nlog(N/δ)/((1-γ)³ε²))，其中N为状态-动作对的数量，γ为折扣因子，ε表示动作价值函数的ε-最优估计，δ为概率。同时证明了在任何强化学习算法中，基于每个状态-动作对估计最优动作值函数的样本复杂度下限为Θ(Nlog(N/δ)/((1-γ)³ε²))，该上限和下限在N，ε、δ、1/(1-γ)方面匹配。

Jun, 2012

提出一种针对Markov决策过程的熵正则化平均回报强化学习的一般性框架，通过使用条件熵来对联合状态-动作分布进行正则化，将一些先进的熵-正则化强化学习算法形式化为Mirror Descent或Dual Averaging的近似变体，并在简单的强化学习实验中展示了各种正则化技术对学习性能的影响。

May, 2017

本文提出了一种正则化的马尔可夫决策过程的一般理论，结合正则化贝尔曼算子和Legendre-Fenchel变换，可以分析诸如Trust Region Policy Optimization、Soft Q-learning、Stochastic Actor Critic或Dynamic Policy Programming等经典算法的错误传播分析，并与Mirror Descent进行了连接。

Jan, 2019

本文探讨强化学习中的KL正则化，发现其内在地平均了q-values，并推导了一个具有两个优点的性能上界。该性能上界在时间序列上的依赖是线性的而非二次的，误差传播方程涉及到估计误差的平均效果而非累积效果。我们也对额外熵正则化的更一般情况进行了研究，这个抽象模型包含了许多现有的强化学习算法。

Mar, 2020

提出了基于样本感知的策略熵正则化方法，以增强传统策略熵正则化方法用于探索的性能；通过利用回放缓存中可获取的样本分布，最大化加权和策略行为分布和缓存中样本行为分布的熵来完成对样本高效的探索。并基于提出的样本感知熵正则化方法，开发出了一个名为多样性演员-评论家算法（DAC）的实用算法，并通过数值实验获得了在增强学习应用中的显著性能优势。

Jun, 2020

本文提出了新的政策镜反射（PMD）方法，用于解决具有强凸性或一般凸性正则化的强化学习（RL）问题，并使用不同的采样方案建立了这些问题的随机对应物。我们证明了PMD方法在快速收敛到全局最优解方面的线性速率，提出了计算这些正则化梯度的复杂度，并展示了此正则化的应用性。

Jan, 2021

提出了一种广义的策略镜像下降算法 (GPMD) 以解决正则化强化学习问题，具有线性收敛特性，支持一般类别的凸正则化器，并在数值实验中得到验证。

May, 2021

本文通过线性函数逼近研究了镜像梯度价值迭代的样本复杂性，并提出了最小最大优化的方案，即方差加权最小二乘MDVI (VWLS-MDVI)，同时提出了Deep Variance Weighting (DVW)算法用于基于价值的深度强化学习。

May, 2023

给定一个专家示范数据集，逆向强化学习（IRL）旨在恢复一个专家所优化的奖励。本研究提出了一种无模型算法来解决熵正则化的IRL问题。我们采用随机梯度下降算法更新奖励，并采用随机软策略迭代算法更新策略，假设可以访问一个生成模型，我们证明了我们的算法使用O(1/ε^2)个马尔可夫决策过程（MDP）样本能够恢复一个ε-最优奖励。此外，我们证明在O(1/ε^4)个样本情况下，所恢复的奖励对应的最优策略与专家策略在总变差距离上接近ε。

Mar, 2024

本研究针对KL正则化在强化学习（RL）和人类反馈强化学习（RLHF）中的理论分析不足的问题，首次展示了KL正则化的优势，指出其样本复杂度可达到$\mathcal{O}(1 / \epsilon)$。研究还探讨了数据覆盖在上下文赌博机和RLHF中的作用，提出了一种简单的两阶段混合采样策略，从而在监督下仅依赖于覆盖系数的加法，对在线RLHF算法的效率优化具有重要影响。

Nov, 2024