Jan, 2023

策略梯度优化中基线的作用

PDF
TL;DR本研究探讨了在策略优化方法中 baseline 的作用，发现使用 state value baseline 可以增强算法的收敛性，但并不是通过减小方差来实现的。相反，value baseline 的主要作用在于抑制 update 的激进程度，进而实现算法的可控性和收敛性。
policy optimizationnatural policy gradientbaselinesconvergence ratevalue baseline
发现论文，激发创造
  • 超越方差减少：理解基线对策略优化的真正影响

    本文针对这些技术因满足不了多步骤 MARKOV 决策过程的情况下的算法运转动态，证明了在赌博机和强化学习问题中，曲率和噪声不能充分解释这些问题，若算法收敛进行的选择不当，有可能无法打到期望的效果并进行理论论证。我们实验证明了这一理论发现，并将其扩展到多状态 MDPs 。

    Aug, 2020

  • 强化学习中，行动相关基线的幻象

    通过对策略梯度估计器方差进行分解，发现在常见测试基准领域中，学习的状态 - 动作相关基线实际上并不降低方差，确认这一意外结果的同时，对实现细节进行细致审查并说明先前观察到的经验性增益的来源。另外，方差分解还突出了改进的领域，通过演示对典型值函数参数化的简单改变，可显著提高性能。

    Feb, 2018

  • 针对行动相关分解基线的策略梯度方差缩减

    本研究提出了一种无偏差的基于动作的基线方法，该方法可以减少深度增强学习中梯度估计的高方差问题，最终实现高维控制问题的策略梯度算法。此外，还证明了该方法的有效性并扩展到部分观察和多智能体任务。

    Mar, 2018

  • 基于梯度的强化学习的最优奖励基准线

    研究了基于策略梯度的强化学习算法中关于梯度估计差异的问题，并提出将一个奖励基线纳入到学习系统中来降低差异，进而提高算法性能的方法。

    Jan, 2013

  • 改进的 (方差减少的) 策略梯度和自然策略梯度方法分析

    该论文重新审视和改进策略梯度方法、自然策略梯度方法及其方差减少版本在一般平滑策略参数化下的收敛性，尤其是通过正定的策略的 Fisher 信息阵表明了一种最先进的方差减少策略梯度方法在策略参数化方面仍然存在函数逼近误差，而自然策略梯度方法具有更低的样本复杂度。

    Nov, 2022

  • NPG 在可数状态空间平均成本强化学习中的性能

    本研究考虑了在强化学习环境中状态空间任意大、甚至可数无限的政策优化方法，重点是通信网络、匹配市场和其他排队系统的控制问题。我们研究了自然策略梯度 (Natural Policy Gradient, NPG) 在有限状态空间上的流行算法。在合理的假设下，我们得到了 NPG 的性能上界，该上界与状态空间的大小无关，只要策略评估误差在真实值函数的某个倍数内。我们通过建立关于 Poisson 方程解（即相对值函数）的新的与策略无关的界限，并将这些界限与先前已知的马尔可夫决策过程 (MDP) 和从专家学习的联系相结合，得到了这个结果。

    May, 2024

  • 多智体策略梯度方差解决

    本文通过量化多智能体强化学习算法中智能体数量和探索策略对算法模型的方差的贡献，并采用优化基线的方式来降低方差，提出了一种解决多智能体 PG 方法效率下降的方案，并在 MuJoCo 和 StarCraft 场景下验证有效性。

    Aug, 2021

  • 轨迹控制变量在策略梯度方法中的方差减少应用

    该研究分析控制变量技术在策略梯度方法中应用的属性和缺陷，并提出了一种新的、递归构造的迹线方法，用于在合理假设下进一步降低方差。

    Aug, 2019

  • 策略评估的随机方差缩减方法

    本文提出了一种基于线性函数逼近的政策评估算法，将经验政策评估问题转化为一个凸凹优化鞍点问题，并通过一些批量梯度方法和随机方差约减方法解决问题，在实验中取得了良好的效果。

    Feb, 2017

  • 乐观自然策略梯度：一种简单高效的在线强化学习策略优化框架

    本文提出了一种称为 Optimistic NPG 的简单高效策略优化框架，该框架的样本复杂度具有最优的维度依赖性，可以高效地学习线性 MDP 和函数逼近下的最优策略。

    May, 2023