解决MAP-MRF问题的松弛问题:组合内向Frank-Wolfe方向
在本篇论文中,我们考虑了在强凸集上进行的优化的特殊情况。我们证明,与一般情况的收敛速度为1/t相比,vanila FW方法以1/t²的速度收敛。我们还展示了如何通过在这些集合上进行线性优化来推导FW方法的多个快速收敛结果。
Jun, 2014
本文介绍了一种基于条件梯度法和最大后验概率调用的全局收敛算法,用于优化边际多面体上的树重新加权(TRW)变分目标,此算法模块化结构使我们能够利用黑盒MAP求解器(精确和近似)进行变分推理,并获得比优化本地一致性放宽的tree重新加权算法更准确的结果,从理论上解释了该算法的次优性,并在合成和实际应用实例中展示了收缩边际多面体和生成树多面体可以提高结果质量。
Nov, 2015
本文研究了Frank-Wolfe算法,提出了几个变体并分别给出了全局线性收敛性证明,证明了不同算法的收敛速度取决于几何量与条件数的乘积,这些算法在机器学习,子模优化等领域取得了实际应用。
Nov, 2015
提出了一种改进的条件梯度方法来解决约束凸优化问题,针对多面体进行了相应的分析及优化,降低了每次迭代时的计算及内存开销,并在实际中通过对图路径、二分图完全匹配、结构预测任务中的边际分布等多样化问题进行测试并呈现出其卓越表现。
May, 2016
本研究将Frank-Wolfe算法拓展至解决约束光滑凸-凹鞍点问题,只需要访问线性最小化神谕。通过利用FW优化的最近进展,我们首次证明了FW类型的鞍点求解器在多面体上的收敛性,并探讨了其他收敛结果和FW算法理论基础的缺口。同时,通过应用结构化预测与组合惩罚以及涉及指数数量的匹配多面体游戏等问题的研究,探讨了没有已知有效替代方案的潜在应用。
Oct, 2016
本文提出了一种名为Frank-Wolfe Augmented Lagrangian (FW-AL)算法的优化方法,该算法利用线性一致性约束来优化在相交凸集中的光滑函数,仅需要对单个约束的线性最小化预言机进行访问,并证明了该算法在一般凸紧集和多面体上的收敛率。
Apr, 2018
提出了一种混合条件梯度方法,可用于在多面体P上最小化平滑凸函数,该方法结合了Frank-Wolfe算法和基于梯度的步骤,并通过保持迭代点为P的极端点的有限数量的稀疏凸组合,避免了向P投影的优点,实现了强凸函数的线性收敛。
May, 2018
本文探讨了强凸约束条件下的Frank-Wolfe(FW)优化,展示了一个比标准FW更快的变体的更快收敛速度,证明了即使对于非凸而是半凸和局部Lipschitz的平滑函数,FW也可以通过线搜索收敛到全局最优解,并且展示了在强凸约束集下,对于一般情况(平滑)的非凸函数,FW带有线搜索以高概率收敛到一个$O(1/t)$的速率上。
Nov, 2018
本文介绍了一种带有机械销为严格互补条件的Frank-Wolfe算法,证明了在该条件下该算法的收敛速度具有线性,并且仅取决于最优面的维度。
May, 2020
本文介绍了两种新的Frank-Wolfe算法变体,用于随机有限和最小化。这些方法在凸和非凸目标函数方面,都具有最佳的收敛保证。同时,本文提出的两种方法都不需要永久收集大批量数据和完整确定性梯度,可用于优化机器学习等领域中的结构约束问题。
Apr, 2023