关键词strongly convex functions
搜索结果 - 7
- 无需参数的自适应梯度方法在强凸函数中的应用
本文提出了一种采用 Metagrad 算法的通用算法，用于同时运行多个专家并将其预测组合为主算法，从而消除依赖于强度参数和学习率的自适应梯度方法的优化学习率，并实现了 O (d log T) 的遗憾界。
- 强凸平滑函数动态遗憾的改进分析
本文介绍了一种改进的 OMGD 算法动态遗憾值分析方法，证明了在一般的环境非静态情况下，该算法的遗憾值可以达到最好的三种保证之一，比以前的结果更紧凑。
- MM基于频域的不精确梯度方法分析
该研究旨在探讨一些基于梯度的迭代方法和频域方法对于强凸函数和扇形边界梯度函数的鲁棒性以及收敛速率的影响，并给出了应用于梯度下降和三重动量方法的案例， 以及针对 Nesterov 加速方法在强凸函数上精确设置下的收敛率提出了改进的分析界限。
- 非光滑随机梯度下降的严格分析
使用随机梯度下降来最小化 Lipschitz 函数和强凸函数但不一定可微的问题，证明了在 T 步随机梯度下降后，最终迭代的误差高概率为 O (log (T)/T)；同时构造了一个函数，证明了在确定性梯度下降中，最终迭代的误差为 Ω(log - 动态环境下的在线优化：强凸问题改进遗憾率
本文提出一种基于在线梯度下降方法的动态调参算法，以降低动态遗憾（dynamic regret），进而优化强凸且未知动力学的损失函数。
- 一种全局收敛的增量式牛顿法
本文提出了增量 Newton 方法和梯度增长条件，通过实例研究，发现增量 Newton 方法需要满足梯度增长条件才能达到线性收敛率，进而得到了分布式优化方法的线性收敛率结果。
- 优化有限和的下界
本文提出了优化 n 个 L-smooth、强凸函数总和的下界，并将其与先前的方法进行比较。在随机数据情况下，我们将这些复杂度结果与用于直接优化总和的最优一阶方法进行对比。研究发现需要谨慎进行准确比较，并确定新方法在机器学习场景中的帮助计算能