本论文提出采用 Frank-Wolfe 技术的高效在线学习算法,避免了投影步骤,同时在在线凸优化方面获得了一系列遗憾界,特别是在随机在线平滑凸优化方面。此外,我们的算法具有参数自由性和产生稀疏决策的优点,并将算法应用到协作过滤的计算密集型应用中,并在标准数据集上显示出理论上的改进。
Jun, 2012
该论文提出了一种新颖的元 Frank-Wolfe 算法及其简化版 One-Shot-Frank-Wolfe,用于对在线优化进行全局和子模最优解的快速求解。其方法基于梯度下降实现,通过随机梯度估算和孪生逼近算法来降低收敛难度。
Feb, 2018
本文介绍了一种零阶 Frank-Wolfe 算法,用于解决约束随机优化问题,该算法与基本 Frank-Wolfe 算法同样无需投影,且不需要计算梯度,可收敛于凸平滑约束下的优化目标函数。同时,本算法在具有每次迭代一个方向导数的所有零阶优化算法中具有最优维度依赖性。对于非凸函数,本算法的 Frank-Wolfe gap 为 O (d^{1/3} T^{-1/4}),并在黑盒优化设置上进行实验,证明了其效果。
Oct, 2018
探讨在线变体的 Frank-Wolfe 算法,包括简单迭代更新和非自适应步长规则,研究凸和非凸损失的多个新结果,并基于对随机 Frank-Wolfe 算法的改进分析得出在强凸随机成本时的遗憾界和任何时刻的最优性为 O (log^3T/T) 和 O (log^2T/T) ; 此外,该在线算法即使在损失非凸的情况下也能收敛,以速率 O (1/T 的平方根) 找到时变 / 随机损失的稳态点。
Oct, 2015
本文提出了一种投影 - 无关算法 POBGA,通过在线提升梯度上升算法、不可行的投影技术和阻塞技术的新颖组合,以及分散设置的变体,有效地缩短了由先前算法 Mono-FW 降低的后悔下限,并将通信复杂度从 O(T)降低到 O(√T)。
May, 2023
本文介绍了在曲面上进行在线几何凸优化时如何通过投影自由算法,在有分离预言机或线性优化预言机的情况下实现亚线性后悔保证。
本研究利用一种新的方差降低技术,提出两种随机 Frank-Wolfe 算法变体,可在小于梯度下降算法的数据梯度评估次数下,获得更好的结果。
Feb, 2016
本文提出了一种基于 Online Convex Optimization with Memory 与 Frank-Wolfe 算法的无投影元基学习算法,可以实现投影 - 免费的在线学习,应用于自适应时变环境控制等领域。
Jan, 2023
本研究提出了一种新的不需要投影的算法框架来解决在线凸优化问题,该算法框架具有较好的性能表现并可处理多种约束情况。
本文提出了两种有效的投影不等式在线方法 ORGFW 和 MORGFW 来解决随机和对抗性在线凸优化问题,并采用递归梯度估计器达到了优秀的后悔度边界(至多对数因子),同时具有低的每次迭代计算成本。实验结果表明,在效率方面,与现有技术相比,所提出的方法更加高效。
Oct, 2019