用于神经网络优化的深度 Frank-Wolfe 算法
本文介绍了两种新的 Frank-Wolfe 算法变体,用于随机有限和最小化。这些方法在凸和非凸目标函数方面,都具有最佳的收敛保证。同时,本文提出的两种方法都不需要永久收集大批量数据和完整确定性梯度,可用于优化机器学习等领域中的结构约束问题。
Apr, 2023
本研究提出并分析了一种基于新的 away steps 方法的 Frank-Wolfe 方法变种,重点研究了在 Simplex 上的一般凸优化问题。 研究表明,该方法与传统的 away steps 可以达到相同的收敛速率和迭代次数,实验结果显示该方法比经典的 away steps 方法更快,而且精度不降。
Apr, 2013
使用前向模式自动微分进行梯度计算的 Frank-Wolfe 算法具有次线性收敛速度,并优于使用后向传播方法的标准 Frank-Wolfe 算法,同时研究了深度神经网络和梯度计算的性能。
Mar, 2024
本文提出了一种称为 1-SFW 的新的随机 Frank-Wolfe 算法,通过设计一种新颖的无偏动量估计器,实现了使用每次迭代的单个样品来优化,而无需仔细调整批量大小、步长、学习速率和其他复杂的超参数,并在随机凸优化、随机 DR 亚模拟最大化问题和一般的非凸设置中达到了最优收敛率。
Oct, 2019
本文研究了 Frank-Wolfe 算法,提出了几个变体并分别给出了全局线性收敛性证明,证明了不同算法的收敛速度取决于几何量与条件数的乘积,这些算法在机器学习,子模优化等领域取得了实际应用。
Nov, 2015
在本篇论文中,我们考虑了在强凸集上进行的优化的特殊情况。我们证明,与一般情况的收敛速度为 1/t 相比,vanila FW 方法以 1/t² 的速度收敛。我们还展示了如何通过在这些集合上进行线性优化来推导 FW 方法的多个快速收敛结果。
Jun, 2014
本文研究非凸随机优化和有限和优化问题中的 Frank-Wolfe 方法,并提出基于方差约减技术的新型非凸 Frank-Wolfe 方法,证明了其具有比传统方法更快的收敛速度。
Jul, 2016
本文介绍了一种零阶 Frank-Wolfe 算法,用于解决约束随机优化问题,该算法与基本 Frank-Wolfe 算法同样无需投影,且不需要计算梯度,可收敛于凸平滑约束下的优化目标函数。同时,本算法在具有每次迭代一个方向导数的所有零阶优化算法中具有最优维度依赖性。对于非凸函数,本算法的 Frank-Wolfe gap 为 O (d^{1/3} T^{-1/4}),并在黑盒优化设置上进行实验,证明了其效果。
Oct, 2018
该论文介绍了一种名为 Differentiable Frank-Wolfe Layer(DFWLayer)的可微分层,借助 Frank-Wolfe 方法解决了带约束优化问题,从而提供了处理大规模问题的高效方法。实验证明 DFWLayer 在解决方案和梯度方面具有竞争性的准确性,并始终遵守约束条件,在前向和反向计算速度方面超越了基线。
Aug, 2023