Jun, 2022

熵正则化神经自然演员 - 评论家算法的有限时间分析

PDF
TL;DR本文针对神经网络近似的 NAC 算法进行了有限时间分析，并指出了神经网络、正则化和优化技术在样本复杂性、迭代复杂性和过度参数化上达到证明良好性能的作用，特别地，我们证明熵正则化和平均化通过提供足够的探索避免了过于确定性和严格次优策略，正则化导致了在正则化 MDPs 中的尖锐样本复杂度和网络宽度，这在策略优化中产生了有利的偏差 - 方差权衡，而在此过程中，我们还发现了在全局优化中实现演员神经网络的均匀逼近能力的重要性，因为其具有分布转移的特征。
natural actor-criticneural networksregularizationoptimization techniquessample complexity
发现论文，激发创造
  • 关于自然演员 - 评论家算法与双层神经网络参数化的全局收敛

    本文探讨利用神经网络代表评论家的自然演员评论算法的研究，并建议了一种涉及通过凸优化问题估计每个迭代中的 Q 函数的 2 层评论家参数化的自然演员评论算法，证明了我们提出的方法达到了样本复杂度的～O (1 / (ε^4 (1-γ)^4))，适用于可数状态空间，不需要线性或低秩结构的 MDP。

    Jun, 2023

  • 改进（自然）Actor-Critic 算法的样本复杂度界限

    该研究论文在马可夫采样、小批量数据和通用策略类逼近等条件下，对比了演员 - 评论家算法（AC）和自然演员 - 评论家算法（NAC）的收敛速率和样本复杂度。实验表明在无限时间范围内，AC 和 NAC 可以比策略梯度（PG）和自然策略梯度（NPG）更快地达到精确的稳态点或全局最优点，而且收敛速度比之前的算法更快。

    Apr, 2020

  • 约束的演员 - 评论家算法和约束的自然演员 - 评论家算法的有限时间分析

    通过应用 Lagrange 乘数法，我们对带有不等式约束的 C-MDP 中的 actor critic 和 natural actor critic 算法进行了非渐近分析，并证明这些算法在非独立同分布（Markovian）环境中能够找到性能函数的一阶稳定点，其采样复杂度分别为 ε^{-2.5}（C-AC 算法和 C-NAC 算法）。我们还在几个不同的网格环境中进行了实验，并观察到这两个算法在大网格尺寸上的良好实验结果，受限的自然 actor critic 稍微优于受限的 actor critic，而对于小网格尺寸，后者稍微优于前者。

    Oct, 2023

  • 两时间尺度（自然）Actor-Critic 算法的非渐进收敛分析

    本文提出了第一种具有非渐近收敛率的二次时间尺度演员 - 评论家和自然演员 - 评论家算法的样本复杂度，通过使用新技术对动态变化 Markovian 采样的 actor 偏差误差进行边界估计并分析带有动态变化基函数和转换内核的线性评论家的收敛速率。

    May, 2020

  • Off-Policy 自然演员 - 评论算法的有限样本分析

    本文介绍一种自然演员 - 评论家算法的有限样本收敛保证，基于重要性采样的离线策略变体，并提出为评论家设计的 $Q$-trace 算法。

    Feb, 2021

  • 单回路（自然） Actor-Critic 与兼容的函数逼近的非渐近分析

    该研究提供了 Actor-Critic（AC）算法和 Natural Actor-Critic（NAC）算法的最紧密的非渐近收敛界限，并使用兼容函数逼近进行收敛性分析。

    Jun, 2024

  • 基于函数逼近的稳健强化学习的自然动态演员 - 评论家

    我们提出了两种新的不确定性集合形式，一种基于双重采样，另一种基于积分概率度量，以应对训练模拟器和测试环境之间的模型不匹配问题，并通过引入函数近似的鲁棒自然行为者 - 评论者 (RNAC) 方法，为所提出的 RNAC 算法在有限时间内收敛到最优鲁棒策略提供了保证，并在多个 MuJoCo 环境和实际 TurtleBot 导航任务中展示了所学习策略的鲁棒性能。

    Jul, 2023

  • 缩小差距：在具有神经网络参数化的马尔可夫抽样下实现演员 - 评论员的全球收敛（最新迭代）

    该研究论文通过对 Actor-Critic 算法进行全面的理论分析，包括五个实践方面（即 MMCLG 标准），从而建立了全局收敛的样本复杂度界限，为实践应用提供了理论依据。

    May, 2024

  • 两个时间尺度演员评论家方法的有限时间分析

    本文提供了对于两种时间尺度的 Actor-critic 方法进行非渐进分析的研究，证明了该方法可以找到非凸性能函数的一阶稳定点，并提供了样本复杂度的有限时间约束。

    May, 2020

  • 多元化演员 - 评论家：针对样本高效探索的样本感知熵正则化

    提出了基于样本感知的策略熵正则化方法，以增强传统策略熵正则化方法用于探索的性能；通过利用回放缓存中可获取的样本分布，最大化加权和策略行为分布和缓存中样本行为分布的熵来完成对样本高效的探索。并基于提出的样本感知熵正则化方法，开发出了一个名为多样性演员 - 评论家算法（DAC）的实用算法，并通过数值实验获得了在增强学习应用中的显著性能优势。

    Jun, 2020