Frank-Wolfe方法在强凸集合上的更快收敛速率
探讨在线变体的Frank-Wolfe算法,包括简单迭代更新和非自适应步长规则,研究凸和非凸损失的多个新结果,并基于对随机Frank-Wolfe算法的改进分析得出在强凸随机成本时的遗憾界和任何时刻的最优性为O(log^3T/T)和O(log^2T/T) ; 此外,该在线算法即使在损失非凸的情况下也能收敛,以速率O(1/T的平方根)找到时变/随机损失的稳态点。
Oct, 2015
本文研究了Frank-Wolfe算法,提出了几个变体并分别给出了全局线性收敛性证明,证明了不同算法的收敛速度取决于几何量与条件数的乘积,这些算法在机器学习,子模优化等领域取得了实际应用。
Nov, 2015
该研究提供了一个简单的证明,表明Frank-Wolfe算法在具有Lipschitz连续梯度的非凸目标上,以O(1 / sqrt {t})的速率获得静止点。
Jul, 2016
本文研究非凸随机优化和有限和优化问题中的Frank-Wolfe方法,并提出基于方差约减技术的新型非凸Frank-Wolfe方法,证明了其具有比传统方法更快的收敛速度。
Jul, 2016
本研究通过使用秩-$k$变体的Frank-Wolfe算法对迹范数球上的凸优化问题进行求解,其将Frank-Wolfe中的$1$-SVD替换为$top-k$ SVD算法。实验表明,当目标函数是平滑的并且强凸的,且最优解的秩最多为$k$时,该算法具有线性收敛率,从而提高了Frank-Wolfe算法及其变体的收敛速度和总时间复杂度。
Aug, 2017
本文探讨了强凸约束条件下的Frank-Wolfe(FW)优化,展示了一个比标准FW更快的变体的更快收敛速度,证明了即使对于非凸而是半凸和局部Lipschitz的平滑函数,FW也可以通过线搜索收敛到全局最优解,并且展示了在强凸约束集下,对于一般情况(平滑)的非凸函数,FW带有线搜索以高概率收敛到一个$O(1/t)$的速率上。
Nov, 2018
本文提出了一种称为1-SFW的新的随机Frank-Wolfe算法,通过设计一种新颖的无偏动量估计器,实现了使用每次迭代的单个样品来优化,而无需仔细调整批量大小、步长、学习速率和其他复杂的超参数,并在随机凸优化、随机DR亚模拟最大化问题和一般的非凸设置中达到了最优收敛率。
Oct, 2019
本文介绍了一种带有机械销为严格互补条件的Frank-Wolfe算法,证明了在该条件下该算法的收敛速度具有线性,并且仅取决于最优面的维度。
May, 2020
介绍并分析了一种基于Frank Wolfe算法变体的ExtraFW算法来解决结构约束下的凸优化问题,该算法在机器学习问题上具有更快的收敛速率和更好的性能。
Dec, 2020
本文介绍了两种新的Frank-Wolfe算法变体,用于随机有限和最小化。这些方法在凸和非凸目标函数方面,都具有最佳的收敛保证。同时,本文提出的两种方法都不需要永久收集大批量数据和完整确定性梯度,可用于优化机器学习等领域中的结构约束问题。
Apr, 2023