无投影方差减少的随机优化
本文介绍了一种零阶 Frank-Wolfe 算法,用于解决约束随机优化问题,该算法与基本 Frank-Wolfe 算法同样无需投影,且不需要计算梯度,可收敛于凸平滑约束下的优化目标函数。同时,本算法在具有每次迭代一个方向导数的所有零阶优化算法中具有最优维度依赖性。对于非凸函数,本算法的 Frank-Wolfe gap 为 O (d^{1/3} T^{-1/4}),并在黑盒优化设置上进行实验,证明了其效果。
Oct, 2018
本文研究非凸随机优化和有限和优化问题中的 Frank-Wolfe 方法,并提出基于方差约减技术的新型非凸 Frank-Wolfe 方法,证明了其具有比传统方法更快的收敛速度。
Jul, 2016
本文提出了一种称为 1-SFW 的新的随机 Frank-Wolfe 算法,通过设计一种新颖的无偏动量估计器,实现了使用每次迭代的单个样品来优化,而无需仔细调整批量大小、步长、学习速率和其他复杂的超参数,并在随机凸优化、随机 DR 亚模拟最大化问题和一般的非凸设置中达到了最优收敛率。
Oct, 2019
该论文研究了随机受限多层优化的无投影算法。介绍了新的无投影方差缩减算法并分析了它们在不同条件下的复杂性,包括梯度映射和 Frank-Wolfe 间隙准则,并通过分阶段适应进一步获得了凸函数和强凸函数的复杂性,数值实验证明了该方法的有效性。
Jun, 2024
本文提出了一种加速的随机零阶 Frank-Wolfe 优化算法,通过使用 SPIDER/SpiderBoost 技术和一种新的动量加速技术,它可以在非凸优化中实现 O (d√nε⁻²) 的函数查询复杂度,并改进了现有最佳结果,同时在随机问题中实现了 O (dε⁻³) 的函数查询复杂度,同时提出了基于 STORM 的 Acc-SZOFW *,它不需要大批量也可以达到与 Acc-SZOFW 相同的函数查询复杂度。
Jul, 2020
该论文提出了一种新颖的元 Frank-Wolfe 算法及其简化版 One-Shot-Frank-Wolfe,用于对在线优化进行全局和子模最优解的快速求解。其方法基于梯度下降实现,通过随机梯度估算和孪生逼近算法来降低收敛难度。
Feb, 2018
本文介绍了两种新的 Frank-Wolfe 算法变体,用于随机有限和最小化。这些方法在凸和非凸目标函数方面,都具有最佳的收敛保证。同时,本文提出的两种方法都不需要永久收集大批量数据和完整确定性梯度,可用于优化机器学习等领域中的结构约束问题。
Apr, 2023
研究了在线学习问题中的限制,提出了基于 Follow-the-Perturbed-Leader 的投影法之外的高效项目方法,其保证了平滑成本函数和每个迭代中一个线性优化计算的一般在线凸优化中的 $T ^ {2/3}$ 后悔界。
Jan, 2020
本文研究了 Frank-Wolfe 算法,提出了几个变体并分别给出了全局线性收敛性证明,证明了不同算法的收敛速度取决于几何量与条件数的乘积,这些算法在机器学习,子模优化等领域取得了实际应用。
Nov, 2015
本文提出一种基于随机零阶梯度与方差降低的高斯平滑的新型方法,用于优化非凸函数,特别是深度神经网络的黑盒攻击问题,并在实验中证明了其比现有的导数 - free 优化技术表现更优。
May, 2018