finite-time analysis | BriefGPT

关键词finite-time analysis

搜索结果 - 11

ICML分布式非光滑非凸随机优化的一阶和零阶在线优化视角
我们研究了非光滑非凸目标在分散随机优化中找到 ($\delta,\epsilon$)- 稳定点的有限时间分析。我们提出了一种称为 ME-DOL 的新算法，并在不同环境中建立了样本复杂性。我们证明了该算法在光滑非凸目标中恢复了最优收敛速度的在
PDFa month ago
软 Q 学习的有限时间误差分析：切换系统方法
本文旨在通过使用动态切换系统模型，针对两种 soft Q-learning 算法 (一种利用 log-sum-exp 操作符，另一种利用 Boltzmann 操作符)，提出新颖的有限时间控制论分析。我们希望通过与切换系统模型建立联系，加深对
PDF4 months ago
异步 Q 学习在控制理论视角下的有限时间分析（随着步长逐渐缩小）
本文研究了异步 Q-learning 在 Markov 观测模型下的有限时间分析，介绍了与离散时间切换系统模型相连的收敛速率，并提出了新的简化模板以深入了解 Q-learning。
PDF2 years ago
两个时间尺度演员评论家方法的有限时间分析
本文提供了对于两种时间尺度的 Actor-critic 方法进行非渐进分析的研究，证明了该方法可以找到非凸性能函数的一阶稳定点，并提供了样本复杂度的有限时间约束。
PDF4 years ago
线性二时间尺度随机逼近在马尔可夫噪声下的有限时间分析
本文提供了一个线性双时间尺度随机逼近方法的有限时间分析，结果表明在马尔可夫噪声和鞅噪声下没有收敛速率的区别，只有马尔可夫链的混合时间会影响常数，并提出了一个匹配的下界。
PDF4 years ago
基于神经网络函数逼近的 Q 学习的有限时间分析
本文提出了一种有限时间的神经 Q 学习算法，其中数据是从 Markov 决策过程中生成的，动作价值函数由 Deep ReLU 神经网络逼近，我们证明了如果神经功能逼近器被足够过度参数化，神经 Q 学习可以找到具有 O（1 / 根号 T）收敛
PDF5 years ago
多目标同时乐观优化
本文介绍了一种基于多臂赌博机的乐观方法，称之为多目标同时乐观优化（MO-SOO）。该算法通过结合多个多臂赌博机在多目标问题的可行决策空间中建立分层结构，以识别帕累托最优解。通过描述该算法的有限时间和渐近行为，分别分析了算法的上界和一致性性质
PDF8 years ago
Kullback-Leibler 序贝叶斯算法的优化序列分配上界
本研究考虑在随机多臂赌博机模型下的最优顺序分配问题，提出了一种基于上置信界计算分数函数的泛指数策略，对一些分布类型进行分析，同时给出了算法失策量的有限时间分析结果。实验证明，此策略在使用一般有界回报时比现有技术有显著改进。
PDF12 years ago
汤普森抽样：渐进最优的有限时间分析
本文针对伯努利回报情况，首次提供匹配 Lai 和 Robbins 下限所给累积遗憾率的有限时间分析，证明了 Thompson Sampling 是解决随机多臂老虎机问题的最优策略，并通过数值比较和实验验证了这一结论。
PDF12 years ago
Kullback-Leibler Divergences 下多臂老虎机问题的有限时间分析
本文考虑了基于 KL 距离的随机多臂赌博机问题，并给出了一个可使渐进遗憾率达到 Burnetas 和 Katehakis 算法下界的算法，并对此算法进行了有限时间分析，其结果表明其主要项比之前的有限时间算法（如 UCB 类型算法）小。
PDF13 years ago
有界随机赌博机及其扩展的 KL-UCB 算法
本文针对随机赌博问题，提出了一种在线动态索引策略 KL-UCB 算法，并通过有界回报和伯努利回报两个方面的研究证明了其优越性和适用性，同时展示了比较实验结果，在时间短的情况下依然表现良好，且优于其他算法。
PDF13 years ago