markovian noise | BriefGPT - AI 论文速递

关键词markovian noise

搜索结果 - 8

计算具有马尔可夫噪声的恒定步长随机逼近的偏差
研究马尔可夫噪声和常数步长的随机逼近算法，通过基于无穷小生成器比较的方法，研究算法的偏差以及时间平均偏差，证明其分别为 O (α) 和 αV + O (α^2)，并且 Polyak-Ruppert 平均值收敛概率高于 θ* + αV。此外，
PDFa month ago
具有马尔科夫噪声的双时间尺度随机逼近的中心极限定理：理论与应用
通过中心极限定理对双时间尺度随机逼近（TTSA）在受控马尔可夫噪声下进行了深入的渐近分析，揭示了受底层马尔可夫链影响的 TTSA 的耦合动态，从而扩展了其应用范围，并结合应用结果推断了使用马尔可夫样本的 GTD 算法的统计性质和渐近性能。
PDF6 months ago
具有马尔可夫噪声的双时间尺度线性随机逼近的紧限定时间界
用马尔可夫噪声对线性二时间尺度随机逼近算法进行了收敛性分析，得到了该算法各种步长选择下的收敛行为，应用结果到 TDC 算法得到了比之前工作更好的收敛性样本复杂度，该结果还适用于确定各种强化学习算法的收敛行为，如带有 Polyak 平均的 T
PDF6 months ago
具有马尔可夫噪声的一阶方法：从加速到变分不等式
该论文提出了一种针对马尔可夫噪声的随机优化问题的优化方法，使用随机批处理方案和多层蒙特卡洛方法，在非凸和强凸情况下实现对梯度方法和变分不等式的统一理论分析。此外，该研究消除了以前关于马尔可夫噪声的限制假设，并提供了与优化问题的强凸情况相匹配
PDFa year ago
ICML联邦强化学习：马尔可夫采样下的线性加速
本文提出了一种基于联邦学习的强化学习框架，使多方代理协作学习全局模型，同时保护个体数据隐私。对于联邦 TD 和 Q-learning 算法，我们证明了与代理数量成线性的收敛速度，这是首次考虑到马尔可夫噪声和多个本地更新的收敛分析。
PDF2 years ago
线性二时间尺度随机逼近在马尔可夫噪声下的有限时间分析
本文提供了一个线性双时间尺度随机逼近方法的有限时间分析，结果表明在马尔可夫噪声和鞅噪声下没有收敛速率的区别，只有马尔可夫链的混合时间会影响常数，并提出了一个匹配的下界。
PDF4 years ago
非线性随机逼近的有限样本分析及其在强化学习中的应用
研究了一种在 Markovian 噪声下的非线性随机逼近算法，证明了其具有不同学习速率的有限样本收敛界限，并证明了其适用于 Q-learning 算法。
PDF5 years ago
线性随机逼近和 TD 学习的有限时间误差界
考虑由 Markovian 噪声驱动的线性随机逼近算法的动态特性，通过考虑适当选择的 Lyapunov 函数的漂移，获得常数步长算法的有限时间误差的二次矩的有限时间界限。我们还对逼近误差 2 范数的平方的矩进行了全面的处理。
PDF5 years ago