finite-sum optimization | BriefGPT

关键词finite-sum optimization

搜索结果 - 9

ICML有限和优化的量子算法与下界
通过量子计算，我们提出了一个具有改进复杂性的量子算法来解决有限和优化问题，使得我们可以找到一个 ε- 最优解点。
PDFa month ago
具有更快超线性收敛速度的增量拟牛顿方法
本文提出了一种更高效的准牛顿方法，它将对称秩 - 1 更新纳入增量框架中，从而得到了不依赖条件数的局部超线性收敛速率。此外，我们通过在 Hessian 近似上应用块更新来提升方法，以实现更快的局部收敛速率。数值实验表明，所提出的方法明显优于
PDF5 months ago
DESTRESS：计算最优和通信高效的分散非凸有限和优化
本文研究非凸有限和优化中的去中心化算法，通过局部损失函数的累加最小化来匹配中心化算法的一阶马鞍点，并提供 DEcentralized STochastic REcurSive gradient methodS（DESTRESS）的算法来实现
PDF3 years ago
带洗牌的 SGD: 无需分量凸性和大的 epoch 要求的最优速率
本文研究了无替换 SGD 算法在有限和优化问题上的应用及其两种不同的指标洗牌方式（RandomShuffle 和 SingleShuffle）。作者们建立了这些算法的最小二次理论下的优化收敛率。此外，作者们进一步应用了各自分量的凸性来缩小
PDF4 years ago
一种用于凸优化的统一方差降低加速梯度方法
提出了 VAriance-Reduced Accelerated Gradient 算法来解决求解光滑凸有限和问题，该算法具有良好的收敛性能并且可以用于求解随机有限和问题。
PDF5 years ago
基于梯度量化和方差约束的随机分布式学习
研究了分布式优化问题，在量化梯度、降低方差的基础上，提出新的缩短收敛时间的方法，实现了对于任意量化梯度的线性收敛，解决了弱凸和非凸问题，并在实验中验证了其效率优于传统方法。
PDF5 years ago
关于平滑非凸有限和优化的下界
本文研究了平滑的非凸有限和优化的下界，并证明了在不同设置下找到 ε- 次优点和 ε- 近似稳定点的复杂度的严格下界，以及一些现有算法的最佳增量一阶预测器（IFO）复杂度。
PDF5 years ago
非凸条件梯度滑动
本文研究了一种无需投影的方法，即非凸条件梯度滑动（NCGS）在分批、随机和有限和非凸问题中的应用，并提出了一种非凸条件梯度滑动方法，该方法在批处理、随机和有限和设置中优于非凸 Frank-Wolfe 方法。
PDF7 years ago
随机 Frank-Wolfe 非凸优化方法
本文研究非凸随机优化和有限和优化问题中的 Frank-Wolfe 方法，并提出基于方差约减技术的新型非凸 Frank-Wolfe 方法，证明了其具有比传统方法更快的收敛速度。
PDF8 years ago