Jul, 2020

双时间尺度双层优化框架：复杂性分析及其在演员 - 评论家算法中的应用

PDF
TL;DR本文研究了用于双层优化的两时间尺度随机算法框架，并分析了算法的收敛性及应用于自然演员 - 评论家算法的情形。
bilevel optimizationstochastic algorithmconvergence ratesnatural actor-criticproximal policy optimization
发现论文，激发创造
  • 快速二次时间尺度随机梯度法及其在强化学习中的应用

    提出了一种用于解决两时间尺度优化问题的新方法，通过利用平均化步骤改善算子的估计，消除了主要变量之间的直接耦合，从而大大加快了收敛速度，并在强凸性、凸性、Polyak-Lojasiewicz 条件和一般非凸性等各种情况下改进了传统两时间尺度随机逼近算法的复杂性，该算法在强化学习中表现出色，超越或与现有的最先进方法相匹配，并通过强化学习中的数值模拟验证了理论结果。

    May, 2024

  • 一种用于随机双层优化的单时间尺度方法

    本论文提出了一种单时间尺度的随机双层最优化算法 (STABLE)，用于解决机器学习中的双层次优化问题，具有较高的效率和样本复杂度。

    Feb, 2021

  • 两时间尺度自然演员 - 评论家算法的有限样本分析

    本文旨在探究 Actor-critic 风格的两个时间尺度算法在强化学习中的应用，提出了一种在线自然 Actor-critic 算法在表格环境下的全局收敛特性，评估其采样轨迹的有效性，并以样本数为单位展开学习效率的分析，为优化全局最优解的搜索提出了提高性能的方法。

    Jan, 2021

  • 具有马尔科夫噪声的双时间尺度随机逼近的中心极限定理：理论与应用

    通过中心极限定理对双时间尺度随机逼近（TTSA）在受控马尔可夫噪声下进行了深入的渐近分析，揭示了受底层马尔可夫链影响的 TTSA 的耦合动态，从而扩展了其应用范围，并结合应用结果推断了使用马尔可夫样本的 GTD 算法的统计性质和渐近性能。

    Jan, 2024

  • 单时间尺度演员 - 评论家算法可证明找到全局最优策略

    本研究主要研究了强化学习中最受欢迎的 Actor-Critic 算法的全局收敛性和全局最优性。作者在单时间尺度上进行更新，其中演员和评论家同时更新。研究结果表明，均使用线性或深度神经网络时，演员序列以 $O (K^{-1/2})$ 的次线性速率收敛于全局最优策略，尤其是当使用深度神经网络时，该算法首次找到非线性函数逼近情况下的全局最优策略。

    Aug, 2020

  • 一种用于随机双层优化的全一阶方法

    本研究提出一种全一阶随机逼近方法用于解决双层无约束随机优化问题，该方法具有收敛性及优异的实际性能，并且可以使用动量辅助的梯度估计器进一步提高收敛速度。

    Jan, 2023

  • 关于双层优化问题的稳定性和泛化性

    本文针对双层 (随机) 优化问题，探讨了梯度下降方法的算法稳定性与泛化误差之间的基本联系，并在一般性情形下给出了稳定性界限的分析，通过实验证明了迭代次数对泛化误差的影响。

    Oct, 2022

  • 一种能够实现随机和全局方差缩减算法的双层优化框架

    本研究提出了一种新的方法来解决大规模实证风险最小化中双层优化问题的梯度计算难以求解的问题，设计了 SABA（基于 SAGA 算法的）全局方差缩减算法，该算法收敛速度达到了 $O (rac1T)$， 实现了线性收敛，并得到了实验证明。

    Jan, 2022

  • 两时间尺度（自然）Actor-Critic 算法的非渐进收敛分析

    本文提出了第一种具有非渐近收敛率的二次时间尺度演员 - 评论家和自然演员 - 评论家算法的样本复杂度，通过使用新技术对动态变化 Markovian 采样的 actor 偏差误差进行边界估计并分析带有动态变化基函数和转换内核的线性评论家的收敛速率。

    May, 2020

  • 光滑非线性 TD 学习的单时间尺度随机非凸凹优化

    本文介绍了两种单时间步单循环算法，分别通过动量和方差约束提高了非凸强凹随机优化问题的收敛速度，降低了数据采样量，同时在理论上证明了算法的收敛性和收敛速度。

    Aug, 2020