follow-the-regularized-leader | BriefGPT

关键词follow-the-regularized-leader

搜索结果 - 8

在线学习中 FTRL 的简单自适应学习率与 Θ(T^{2/3}) 的最小 max 遗憾及其在最佳两全之间的应用
通过设计自适应的正则化器和学习率，FTRL 是一个强大的框架，适用于各种在线学习问题。本文提出了一个新的自适应学习率框架来解决具有 Θ(T^{2/3}) 最小最大遗憾的问题，并应用于部分监控和图形赌博两个重要的间接反馈问题。
PDFa month ago
Follow-the-Regularized-Leader 竞争比分析及最佳学习率自适应
Follow-The-Regularized-Leader (FTRL) 在在线学习中是一种有效且多功能的方法，调整其学习率的问题被形式化为序贯决策问题，并引入了竞争分析的框架。我们提出的学习率更新规则通过与竞争比率的下限相差一个常数因子来
PDF4 months ago
MM通过在线学习更新理解 Adam 优化器：Adam 即 FTRL 的伪装
本研究从在线学习的角度出发，对 Adam 优化器的算法组成进行了研究，通过研究 Adam 与 Follow-the-Regularized-Leader 在线学习框架的对应关系，揭示了其算法组成的益处。
PDF5 months ago
稳定性惩罚自适应 Follow-the-regularized-leader：稀疏性，游戏依赖性与双重优势
研究自适应学习率对于解决实际问题的重要性，在此基础上提出了一个新的自适应学习率 ——Stability-Penalty-Adaptive (SPA)，可以进一步推广 Follow-the-Regularized-Leader (FTRL)
PDFa year ago
医生对口罩使用的结论：有用但需辩证看待
本研究提出了一种广义的最好结果算法以及如何通过规范化导向跟随和在线镜像下降算法实现在线学习中的最好结果，将这种算法应用于上下文、图和表马尔科夫决策过程中。
PDFa year ago
最佳选择：具备未知转移的随机与对抗式序列决策问题（MDP）
研究了通过 T 个 episode 学习马尔可夫决策过程中两全其美的问题，提出了一种新的变换，将方法从已知转移推广到未知转移下，并使得转移估计错误上界为多项式级别。
PDF3 years ago
自适应（非）凸优化的模块化分析：乐观主义、复合目标和变分界限
本文通过引入新的后悔分解和 Bregman 散度的泛化来对在线学习的两个算法进行分析，得出了较为简洁的结论，提出了对于复合目标的算法，并提供了一种细化的算法族。
PDF7 years ago
超越矩阵乘法更新的频谱稀疏化与遗憾最小化
该论文提供了一种新的构造线性大小的谱稀疏化的方法，利用了稀疏化和密度矩阵上的遗憾最小化问题之间的强连接，并将矩阵 MWU 自然地形成为 Follow-the-Regularized-Leader 框架的一个实例，从而扩展了构造谱稀疏化的方法
PDF9 years ago