提出了一种基于随机块坐标变量的 Frank-Wolfe 算法用于具有块可分约束的凸优化,并表明该算法具有与全 Frank-Wolfe 算法相似的对偶间隙收敛速度,同时可以计算最优步长并提供可计算的对偶间隙保证。
Jul, 2012
在本篇论文中,我们考虑了在强凸集上进行的优化的特殊情况。我们证明,与一般情况的收敛速度为1/t相比,vanila FW方法以1/t²的速度收敛。我们还展示了如何通过在这些集合上进行线性优化来推导FW方法的多个快速收敛结果。
Jun, 2014
本文研究了Frank-Wolfe算法,提出了几个变体并分别给出了全局线性收敛性证明,证明了不同算法的收敛速度取决于几何量与条件数的乘积,这些算法在机器学习,子模优化等领域取得了实际应用。
Nov, 2015
本研究利用一种新的方差降低技术,提出两种随机Frank-Wolfe算法变体,可在小于梯度下降算法的数据梯度评估次数下,获得更好的结果。
Feb, 2016
本文研究非凸随机优化和有限和优化问题中的Frank-Wolfe方法,并提出基于方差约减技术的新型非凸Frank-Wolfe方法,证明了其具有比传统方法更快的收敛速度。
Jul, 2016
本研究提出了基于深度神经网络中复合近端框架的优化方法,该方法利用了深度神经网络的组合性质,并通过设计利用强大的凸优化算法,对于解决高维、非凸和非光滑优化问题提供了一种新的方法。
Nov, 2018
该文章提出了一个通过不同的可微优化层实现端到端分析微分的方法,并重点介绍了如何通过离散凸程序进行不同的分析微分,同时在不同的框架中使用该方法,包括 CVXPY,PyTorch 和 TensorFlow 2.0。
Oct, 2019
介绍并分析了一种基于Frank Wolfe算法变体的ExtraFW算法来解决结构约束下的凸优化问题,该算法在机器学习问题上具有更快的收敛速率和更好的性能。
Dec, 2020
通过改进多步骤的Frank-Wolfe方法和LMO-平均方案使用一阶和高阶离散方案,从而减少离散化误差,其局部收敛速率通过一般凸集可以加速从O(1/k)到O(1/k^{3/2}),改善Frank-Wolfe算法的收敛速度。
Apr, 2023
本文介绍了两种新的Frank-Wolfe算法变体,用于随机有限和最小化。这些方法在凸和非凸目标函数方面,都具有最佳的收敛保证。同时,本文提出的两种方法都不需要永久收集大批量数据和完整确定性梯度,可用于优化机器学习等领域中的结构约束问题。