基于策略迭代和蒙特卡罗策略评估的强化学习收敛性

Jan, 2023

基于策略迭代和蒙特卡罗策略评估的强化学习收敛性

On The Convergence Of Policy Iteration-Based Reinforcement Learning With Monte Carlo Policy Evaluation

Anna Winnicki, R. Srikant

TL;DR本文提出解决一种强化学习中的长期悬而未决的问题，通过使用前瞻而非简单的贪心策略迭代来提高策略，同时在表格和函数逼近设置中都提供了结果。我们证明了这种策略迭代方案收敛于最优策略。

Abstract

A common technique in reinforcement learning is to evaluate the value function from monte carlo simulations of a given policy, and use the estimated value function to obtain a new policy which is greedy with resp

reinforcement learning monte carlo simulations policy iteration convergence function approximation

发现论文，激发创造

强化学习中超越单步贪心方法

本文研究了改进策略和评估策略之间交替的着名 Policy Iteration 算法，以及其变体中多步向前的政策改进，形成了多步政策改进的变量，导出了新的算法并证明了其收敛性。此外，文章还展示了近期著名的强化学习算法实际上是我们框架的实例，阐明了它们的经验成功，为未来研究提供了推导新算法的方法。

Feb, 2018

强化学习蒙特卡罗探索算法收敛性研究

在本文中，我们使用归纳法方法，针对一类最优策略的前馈马尔可夫决策流程（Optimal Policy Feed-Forward MDPs），即在使用最优策略下，MDPs 的状态在任何情况下都不会被重访的 MDPs，为原始 MCES 算法取得了几乎肯定的收敛性。

Feb, 2020

策略迭代的概率采样法近似实现

本文提出了一种改进的策略迭代算法，使用分类器代替值函数，并将策略学习作为监督学习问题进行处理，解决了通过模拟评估策略时的核心抽样问题，实验验证表明其能在反摆杆和车山等领域内实现可比较的性能提升，并显著减少计算工作量。

May, 2008

零和马尔可夫博弈强化学习的一种新政策迭代算法

本文提出了一种对于零和马尔可夫游戏的学习策略 ——lookahead 策略，该策略使用简单的 naive policy iteration，在计划阶段实现高效的收敛，进一步阐述了在使用我们的算法进行计算规划时的时间复杂度和样本复杂度界限。

Mar, 2023

在线和近似强化学习中的多步贪心策略

本文研究了使用多步贪婪算法的实际应用，发现在软策略更新时，只有更新步长足够大，才能保证单调策略改进，提出了组合在线和近似算法。

May, 2018

模仿学习中的值聚合收敛性

本文中，研究了价值聚合在解决模仿学习问题上的一般框架，通过迭代地在在线学习环境中交替进行策略优化和评估来生成策略序列。我们揭示了价值聚合总是产生收敛策略序列且性能不断提高的常见信念是错误的，提供了一个关键稳定条件以确保收敛性，并提供了最后一个策略性能的紧密非渐近界。

Jan, 2018

相对熵正则化策略迭代

我们提出了一种基于离线策略的 Actor-Critic 算法，结合了随机搜索梯度 - free 优化和学习的动作价值函数，通过评估参数化动作 - 价值函数、估计局部非参数化策略和拟合参数化策略的三个步骤，在 31 个连续控制任务中进行对比与实验，并取得了良好的效果。

Dec, 2018

链式价值函数用于离策略学习

该论文提出了一种新的家族离线预测算法，通过构建一系列价值函数来实现稳定的模型迭代，算法收敛且可以有效的处理离线强化学习过程中的问题。

Jan, 2022

稀缺经验学习

使用似然比估计的一族算法在估计和优化阶段利用经验数据来优化策略，从而更高效地解决部分可观察的强化学习问题，该算法在实验中表现良好。

Apr, 2002

强化学习中的种群指导并行策略搜索

提出了一种新的基于群体引导的并行学习方法，通过在共享经验回放缓冲区中搜索良好的策略，结合最佳策略信息，软融合构建损失函数，以实现稀疏奖励环境下提升最佳期望累计回报的目的，其中 TD3 算法是工作算法之一。

Jan, 2020