关于自然演员 - 评论家算法与双层神经网络参数化的全局收敛

Jun, 2023

关于自然演员 - 评论家算法与双层神经网络参数化的全局收敛

On the Global Convergence of Natural Actor-Critic with Two-layer Neural Network Parametrization

Mudit Gaur, Amrit Singh Bedi, Di Wang, Vaneet Aggarwal

TL;DR本文探讨利用神经网络代表评论家的自然演员评论算法的研究，并建议了一种涉及通过凸优化问题估计每个迭代中的 Q 函数的 2 层评论家参数化的自然演员评论算法，证明了我们提出的方法达到了样本复杂度的～O (1 / (ε^4 (1-γ)^4))，适用于可数状态空间，不需要线性或低秩结构的 MDP。

Abstract

Actor-critic algorithms have shown remarkable success in solving state-of-the-art decision-making problems. However, despite their empirical effectiveness, their theoretical underpinnings remain relatively unexplored, especially with neural network parametrization. In this paper, we de

actor-critic algorithm neural network sample complexity natural actor-critic algorithm convex optimization

发现论文，激发创造

缩小差距：在具有神经网络参数化的马尔可夫抽样下实现演员 - 评论员的全球收敛（最新迭代）

该研究论文通过对 Actor-Critic 算法进行全面的理论分析，包括五个实践方面（即 MMCLG 标准），从而建立了全局收敛的样本复杂度界限，为实践应用提供了理论依据。

May, 2024

两时间尺度（自然）Actor-Critic 算法的非渐进收敛分析

本文提出了第一种具有非渐近收敛率的二次时间尺度演员 - 评论家和自然演员 - 评论家算法的样本复杂度，通过使用新技术对动态变化 Markovian 采样的 actor 偏差误差进行边界估计并分析带有动态变化基函数和转换内核的线性评论家的收敛速率。

May, 2020

熵正则化神经自然演员 - 评论家算法的有限时间分析

本文针对神经网络近似的 NAC 算法进行了有限时间分析，并指出了神经网络、正则化和优化技术在样本复杂性、迭代复杂性和过度参数化上达到证明良好性能的作用，特别地，我们证明熵正则化和平均化通过提供足够的探索避免了过于确定性和严格次优策略，正则化导致了在正则化 MDPs 中的尖锐样本复杂度和网络宽度，这在策略优化中产生了有利的偏差 - 方差权衡，而在此过程中，我们还发现了在全局优化中实现演员神经网络的均匀逼近能力的重要性，因为其具有分布转移的特征。

Jun, 2022

改进（自然）Actor-Critic 算法的样本复杂度界限

该研究论文在马可夫采样、小批量数据和通用策略类逼近等条件下，对比了演员 - 评论家算法（AC）和自然演员 - 评论家算法（NAC）的收敛速率和样本复杂度。实验表明在无限时间范围内，AC 和 NAC 可以比策略梯度（PG）和自然策略梯度（NPG）更快地达到精确的稳态点或全局最优点，而且收敛速度比之前的算法更快。

Apr, 2020

约束的演员 - 评论家算法和约束的自然演员 - 评论家算法的有限时间分析

通过应用 Lagrange 乘数法，我们对带有不等式约束的 C-MDP 中的 actor critic 和 natural actor critic 算法进行了非渐近分析，并证明这些算法在非独立同分布（Markovian）环境中能够找到性能函数的一阶稳定点，其采样复杂度分别为 ε^{-2.5}（C-AC 算法和 C-NAC 算法）。我们还在几个不同的网格环境中进行了实验，并观察到这两个算法在大网格尺寸上的良好实验结果，受限的自然 actor critic 稍微优于受限的 actor critic，而对于小网格尺寸，后者稍微优于前者。

Oct, 2023

两时间尺度自然演员 - 评论家算法的有限样本分析

本文旨在探究 Actor-critic 风格的两个时间尺度算法在强化学习中的应用，提出了一种在线自然 Actor-critic 算法在表格环境下的全局收敛特性，评估其采样轨迹的有效性，并以样本数为单位展开学习效率的分析，为优化全局最优解的搜索提出了提高性能的方法。

Jan, 2021

关于使用双层神经网络参数化的 Fitted Q-Iteration 的全球收敛性

本文研究了一种采用双层 ReLU 神经网络参数化的 Fitted Q-Iteration 算法，通过估计 Q-function 的凸优化问题来实现每次迭代的 Q-function，证明了该方法在具有计数状态空间的情况下可以实现采样复杂度为 $\widetilde {O}(1/ε^2)$。

Nov, 2022

单回路（自然） Actor-Critic 与兼容的函数逼近的非渐近分析

该研究提供了 Actor-Critic（AC）算法和 Natural Actor-Critic（NAC）算法的最紧密的非渐近收敛界限，并使用兼容函数逼近进行收敛性分析。

Jun, 2024

Off-Policy 自然演员 - 评论算法的有限样本分析

本文介绍一种自然演员 - 评论家算法的有限样本收敛保证，基于重要性采样的离线策略变体，并提出为评论家设计的 $Q$-trace 算法。

Feb, 2021

网络马尔可夫潜力博弈中本地化 Actor-Critic 的收敛速率

本研究提出了一种基于网络结构的马尔可夫潜在博弈模型，以及一种局部演员 - 评论家算法，利用函数逼近方法克服了维度诅咒，并给出了与局部误差和函数逼近误差有关的有限样本保证，实验证明该算法能够有效地处理多智能体竞争博弈问题。

Mar, 2023