一种样本随机Frank-Wolfe算法
在本篇论文中,我们考虑了在强凸集上进行的优化的特殊情况。我们证明,与一般情况的收敛速度为1/t相比,vanila FW方法以1/t²的速度收敛。我们还展示了如何通过在这些集合上进行线性优化来推导FW方法的多个快速收敛结果。
Jun, 2014
探讨在线变体的Frank-Wolfe算法,包括简单迭代更新和非自适应步长规则,研究凸和非凸损失的多个新结果,并基于对随机Frank-Wolfe算法的改进分析得出在强凸随机成本时的遗憾界和任何时刻的最优性为O(log^3T/T)和O(log^2T/T) ; 此外,该在线算法即使在损失非凸的情况下也能收敛,以速率O(1/T的平方根)找到时变/随机损失的稳态点。
Oct, 2015
本文研究了Frank-Wolfe算法,提出了几个变体并分别给出了全局线性收敛性证明,证明了不同算法的收敛速度取决于几何量与条件数的乘积,这些算法在机器学习,子模优化等领域取得了实际应用。
Nov, 2015
本文研究非凸随机优化和有限和优化问题中的Frank-Wolfe方法,并提出基于方差约减技术的新型非凸Frank-Wolfe方法,证明了其具有比传统方法更快的收敛速度。
Jul, 2016
该论文提出了一种新颖的元Frank-Wolfe算法及其简化版One-Shot-Frank-Wolfe,用于对在线优化进行全局和子模最优解的快速求解。其方法基于梯度下降实现,通过随机梯度估算和孪生逼近算法来降低收敛难度。
Feb, 2018
本文介绍了一种零阶Frank-Wolfe算法,用于解决约束随机优化问题,该算法与基本Frank-Wolfe算法同样无需投影,且不需要计算梯度,可收敛于凸平滑约束下的优化目标函数。同时,本算法在具有每次迭代一个方向导数的所有零阶优化算法中具有最优维度依赖性。对于非凸函数,本算法的Frank-Wolfe gap为O(d^{1/3}T^{-1/4}),并在黑盒优化设置上进行实验,证明了其效果。
Oct, 2018
本文提出了一种加速的随机零阶Frank-Wolfe优化算法,通过使用SPIDER/SpiderBoost技术和一种新的动量加速技术,它可以在非凸优化中实现O(d√nε⁻²)的函数查询复杂度,并改进了现有最佳结果,同时在随机问题中实现了O(dε⁻³)的函数查询复杂度,同时提出了基于STORM的Acc-SZOFW *,它不需要大批量也可以达到与Acc-SZOFW相同的函数查询复杂度。
Jul, 2020
通过改进多步骤的Frank-Wolfe方法和LMO-平均方案使用一阶和高阶离散方案,从而减少离散化误差,其局部收敛速率通过一般凸集可以加速从O(1/k)到O(1/k^{3/2}),改善Frank-Wolfe算法的收敛速度。
Apr, 2023
本文介绍了两种新的Frank-Wolfe算法变体,用于随机有限和最小化。这些方法在凸和非凸目标函数方面,都具有最佳的收敛保证。同时,本文提出的两种方法都不需要永久收集大批量数据和完整确定性梯度,可用于优化机器学习等领域中的结构约束问题。
Apr, 2023