Oct, 2018

弱凸凹性最小最大优化：可证明算法及其在机器学习中的应用

HTML
PDF
TL;DR本文研究了一类非凸的最小值最大值问题，其中目标函数在最小化变量上是弱凸的，在最大化变量上是凸的。针对不同的光滑和不光滑的实例，我们提出了近端引导随机次梯度方法和近端引导随机方差减少方法。同时，我们分析了所提出方法在找到最小值和最大值对应的几乎稳定点的时间复杂性。
发现论文，激发创造
  • 凸优化：算法与复杂度

    本文旨在介绍凸优化及其相应算法, 包括黑盒优化，结构优化, 随机优化以及非欧几里德设置下的机器学习算法。

    May, 2014

  • 鞍点问题的随机方差缩减方法

    提出了一种新的随机优化算法，可以高效地解决凸-凹二次问题，并适用于更广泛类别的问题，该算法以局部更新的形式实现，可以使用非均匀采样来加速算法。

    May, 2016

  • 非凸机器学习的二阶优化：一个经验性研究

    本文研究了一类基于牛顿方法的优化算法在非凸机器学习问题中的应用，展示了其可以更好地利用曲率信息来逃离平坦区域和鞍点，并在泛化性能方面表现相当于或优于手动调整学习率的随机梯度下降算法。

    Aug, 2017

  • 机器学习的非凸优化

    本文阐述了机器学习中的非凸优化问题和直接方法在此领域的成功应用，旨在介绍这一领域的文献和分析非凸问题的简单程序工具。

    Dec, 2017

  • 非凸极值优化：应用、挑战和最新的理论进展

    本文概述了一种重要的min-max问题子类的最新进展，其中最小化和最大化问题可以是非凸和/或非凹的，包括诸如fair beamforming、 training generative adversarial networks (GANs)， robust machine learning等广泛应用，强调了该问题的重要性并讨论了该问题的理论挑战，同时提供了解决非凸min-max问题的最新理论和算法进展的选定回顾，并指出了未来的研究方向和待解决问题。

    Jun, 2020

  • 极值优化算法的局限性：收敛于虚假非关键集合

    本文研究了最小-最大优化算法在非凸/non-concave问题中的表现，发现其极限点包含在共同的平均场系统的ICT集合中，其吸引子与算法相关，但存在不包含问题静止点的虚假吸引子，这可能导致算法收敛失败。

    Jun, 2020

  • 有约束极小极大优化的复杂性

    本文通过分析优化问题的计算复杂性，阐明了一系列非凸非凹目标函数的约束极值优化问题存在的困难，同时证明了该问题在Nemirovsky-Yudin模型中的难度，这与最小化问题在同样设置下可以使用Projected Gradient Descent进行近似局部最小值的行为形成了对比。

    Sep, 2020

  • 结构化非凸-非凹二次规划的高效优化方法

    通过提出一种新的结构化非凸-非凹 min-max 优化问题类，引入了一个泛化的外推方法，该方法证明收敛到一个稳定点。这种算法不仅适用于欧几里得空间，还适用于一般的l p-norm有限维实向量空间，同时对其在随机oracle条件下的稳定性和样本复杂度提供了边界。

    Oct, 2020

  • 差的最大结构弱凸函数的单循环随机算法

    本文研究了一类非光滑非凸问题，提出了一种基于随机Moreau包络梯度方法的单循环算法来解决这类问题，该算法在解决非光滑非凸问题上取得了最先进的非渐进收敛速率，通过实验证明了算法的有效性。

    May, 2024

  • 机器学习的非凸优化方法综述

    本研究针对非凸优化在机器学习中的应用，特别是在深度神经网络和支持向量机等复杂模型中面临的局部极小值和鞍点问题。论文提出通过优化策略降低计算成本，同时确保模型性能，强调关注良好的局部极小值可实现更快的收敛速度和低计算开销，未来的研究将集中于可扩展性和泛化等挑战。

    Oct, 2024