Aug, 2023

可微分的 Frank-Wolfe 优化层

PDF
TL;DR该论文介绍了一种名为 Differentiable Frank-Wolfe Layer（DFWLayer）的可微分层，借助 Frank-Wolfe 方法解决了带约束优化问题，从而提供了处理大规模问题的高效方法。实验证明 DFWLayer 在解决方案和梯度方面具有竞争性的准确性，并始终遵守约束条件，在前向和反向计算速度方面超越了基线。
differentiable optimizationneural networksfrank-wolfe methodconstrained optimization problemssuboptimality gap
发现论文，激发创造
  • 带有最佳效率和实用特性的约束优化方法

    本文介绍了两种新的 Frank-Wolfe 算法变体，用于随机有限和最小化。这些方法在凸和非凸目标函数方面，都具有最佳的收敛保证。同时，本文提出的两种方法都不需要永久收集大批量数据和完整确定性梯度，可用于优化机器学习等领域中的结构约束问题。

    Apr, 2023

  • 关于 Frank-Wolfe 优化变量的全局线性收敛性

    本文研究了 Frank-Wolfe 算法，提出了几个变体并分别给出了全局线性收敛性证明，证明了不同算法的收敛速度取决于几何量与条件数的乘积，这些算法在机器学习，子模优化等领域取得了实际应用。

    Nov, 2015

  • 面向无梯度和无投影的随机优化

    本文介绍了一种零阶 Frank-Wolfe 算法，用于解决约束随机优化问题，该算法与基本 Frank-Wolfe 算法同样无需投影，且不需要计算梯度，可收敛于凸平滑约束下的优化目标函数。同时，本算法在具有每次迭代一个方向导数的所有零阶优化算法中具有最优维度依赖性。对于非凸函数，本算法的 Frank-Wolfe gap 为 O (d^{1/3} T^{-1/4})，并在黑盒优化设置上进行实验，证明了其效果。

    Oct, 2018

  • 用于神经网络优化的深度 Frank-Wolfe 算法

    本研究提出了基于深度神经网络中复合近端框架的优化方法，该方法利用了深度神经网络的组合性质，并通过设计利用强大的凸优化算法，对于解决高维、非凸和非光滑优化问题提供了一种新的方法。

    Nov, 2018

  • 基于前向梯度级联法的高效深度神经网络训练优化

    使用前向模式自动微分进行梯度计算的 Frank-Wolfe 算法具有次线性收敛速度，并优于使用后向传播方法的标准 Frank-Wolfe 算法，同时研究了深度神经网络和梯度计算的性能。

    Mar, 2024

  • 无投影方差减少的随机优化

    本研究利用一种新的方差降低技术，提出两种随机 Frank-Wolfe 算法变体，可在小于梯度下降算法的数据梯度评估次数下，获得更好的结果。

    Feb, 2016

  • Frank-Wolfe 方法在强凸集合上的更快收敛速率

    在本篇论文中，我们考虑了在强凸集上进行的优化的特殊情况。我们证明，与一般情况的收敛速度为 1/t 相比，vanila FW 方法以 1/t² 的速度收敛。我们还展示了如何通过在这些集合上进行线性优化来推导 FW 方法的多个快速收敛结果。

    Jun, 2014

  • 随机 Frank-Wolfe 非凸优化方法

    本文研究非凸随机优化和有限和优化问题中的 Frank-Wolfe 方法，并提出基于方差约减技术的新型非凸 Frank-Wolfe 方法，证明了其具有比传统方法更快的收敛速度。

    Jul, 2016

  • Frank-Wolfe 算法的自共轭分析

    通过理论建立不同变体的 Frank-Wolfe（FW）算法的自适应步长，对一些机器学习及物理学问题，能够得到无需映射和保留稀疏性的优化，且对于具有无限曲率的自共轭函数，也可以获得全局收敛速率为 O (1/k) 或线性收敛速率的新的 FW 方法。

    Feb, 2020

  • 增广拉格朗日法的 Frank-Wolfe 分裂算法

    本文提出了一种名为 Frank-Wolfe Augmented Lagrangian (FW-AL) 算法的优化方法，该算法利用线性一致性约束来优化在相交凸集中的光滑函数，仅需要对单个约束的线性最小化预言机进行访问，并证明了该算法在一般凸紧集和多面体上的收敛率。

    Apr, 2018