May, 2024

缩小差距：在具有神经网络参数化的马尔可夫抽样下实现演员 - 评论员的全球收敛（最新迭代）

PDF
TL;DR该研究论文通过对 Actor-Critic 算法进行全面的理论分析，包括五个实践方面（即 MMCLG 标准），从而建立了全局收敛的样本复杂度界限，为实践应用提供了理论依据。
actor-criticmmclg criteriatheoretical analysisglobal convergencesample complexity bounds
发现论文，激发创造
  • 关于自然演员 - 评论家算法与双层神经网络参数化的全局收敛

    本文探讨利用神经网络代表评论家的自然演员评论算法的研究，并建议了一种涉及通过凸优化问题估计每个迭代中的 Q 函数的 2 层评论家参数化的自然演员评论算法，证明了我们提出的方法达到了样本复杂度的～O (1 / (ε^4 (1-γ)^4))，适用于可数状态空间，不需要线性或低秩结构的 MDP。

    Jun, 2023

  • 网络马尔可夫潜力博弈中本地化 Actor-Critic 的收敛速率

    本研究提出了一种基于网络结构的马尔可夫潜在博弈模型，以及一种局部演员 - 评论家算法，利用函数逼近方法克服了维度诅咒，并给出了与局部误差和函数逼近误差有关的有限样本保证，实验证明该算法能够有效地处理多智能体竞争博弈问题。

    Mar, 2023

  • 熵正则化神经自然演员 - 评论家算法的有限时间分析

    本文针对神经网络近似的 NAC 算法进行了有限时间分析，并指出了神经网络、正则化和优化技术在样本复杂性、迭代复杂性和过度参数化上达到证明良好性能的作用，特别地，我们证明熵正则化和平均化通过提供足够的探索避免了过于确定性和严格次优策略，正则化导致了在正则化 MDPs 中的尖锐样本复杂度和网络宽度，这在策略优化中产生了有利的偏差 - 方差权衡，而在此过程中，我们还发现了在全局优化中实现演员神经网络的均匀逼近能力的重要性，因为其具有分布转移的特征。

    Jun, 2022

  • 改进（自然）Actor-Critic 算法的样本复杂度界限

    该研究论文在马可夫采样、小批量数据和通用策略类逼近等条件下，对比了演员 - 评论家算法（AC）和自然演员 - 评论家算法（NAC）的收敛速率和样本复杂度。实验表明在无限时间范围内，AC 和 NAC 可以比策略梯度（PG）和自然策略梯度（NPG）更快地达到精确的稳态点或全局最优点，而且收敛速度比之前的算法更快。

    Apr, 2020

  • 单回路（自然） Actor-Critic 与兼容的函数逼近的非渐近分析

    该研究提供了 Actor-Critic（AC）算法和 Natural Actor-Critic（NAC）算法的最紧密的非渐近收敛界限，并使用兼容函数逼近进行收敛性分析。

    Jun, 2024

  • 两时间尺度（自然）Actor-Critic 算法的非渐进收敛分析

    本文提出了第一种具有非渐近收敛率的二次时间尺度演员 - 评论家和自然演员 - 评论家算法的样本复杂度，通过使用新技术对动态变化 Markovian 采样的 actor 偏差误差进行边界估计并分析带有动态变化基函数和转换内核的线性评论家的收敛速率。

    May, 2020

  • 约束的演员 - 评论家算法和约束的自然演员 - 评论家算法的有限时间分析

    通过应用 Lagrange 乘数法，我们对带有不等式约束的 C-MDP 中的 actor critic 和 natural actor critic 算法进行了非渐近分析，并证明这些算法在非独立同分布（Markovian）环境中能够找到性能函数的一阶稳定点，其采样复杂度分别为 ε^{-2.5}（C-AC 算法和 C-NAC 算法）。我们还在几个不同的网格环境中进行了实验，并观察到这两个算法在大网格尺寸上的良好实验结果，受限的自然 actor critic 稍微优于受限的 actor critic，而对于小网格尺寸，后者稍微优于前者。

    Oct, 2023

  • 通过多层级演员 - 评论家算法在平均奖励强化学习中实现全局最优性无需混合时间预言机

    通过引入多层渐进策略梯度估计方法，解决了在平均奖励增强学习中混合时间知识的依赖性问题，并取得了比之前的基于策略梯度方法（PPGAE）更高的奖励表现。

    Mar, 2024

  • 完全分散式单时间尺度演员 - 评论家的有限时间分析

    本文研究了分散式单时间尺度的演员 - 评论家算法，并利用线性近似展示了其样本复杂度为 $\tilde {\mathcal {O}}(\varepsilon^{-2})$, 与双循环实现相匹配。此外，我们提供了一种本地化的算法及其分析，并通过实验表明了我们的算法优于现有的分散式演员评论家算法。

    Jun, 2022

  • 神经策略梯度方法：全局最优性和收敛速率

    本文介绍了使用神经网络参数化的演员评论家的政策梯度方法，证明了在超参数化范围内，神经自然策略梯度以亚线性速率收敛到全局最优策略，并且神经普通策略梯度以亚线性速率收敛到稳态点。同时证明了共享神经结构和随机初始化是全局最优解和收敛的关键。该分析为神经策略梯度方法的全局最优性和收敛性提供了第一个保证。

    Aug, 2019