Jun, 2019

交替最小化和 Nesterov 动量方法的组合

PDF
TL;DR本文提出一种结合 Alternating minimization（AM）和 Nesterov's acceleration 的自适应加速交替最小化算法，可用于解决具有凸性和非凸性的优化问题，同时不需要任何有关问题的凸性或函数参数等知识。通过证明该算法的收敛速度，得出该方法是自适应且优化的。此外还为具有线性约束的强凸问题开发了其原始 - 对偶修改。
alternating minimizationnesterov's accelerationoptimizationconvexityadaptive
发现论文，激发创造
  • 非凸非线性随机规划的加速梯度方法

    该论文将 Nesterov 的加速梯度方法推广到非凸和可能的随机优化问题中，证明该方法可以最优地解决一般的非凸光滑优化问题，并可应用于重要类的复合优化问题和非凸随机优化问题，是文献中第一次确立了 AG 方法解决非凸非线性规划的收敛性。

    Oct, 2013

  • 一种强凸函数的鲁棒加速优化算法

    本文提出了一种加速的一阶优化算法 —— 鲁棒动量法，可用于优化平滑强凸函数。该算法有一种参数可以调节对梯度噪声的稳健性与最差情况下的收敛速度之间的平衡。算法具有简单的解析形式，并通过在干净和梯度噪声情况下的一系列数值模拟进行了验证。

    Oct, 2017

  • 具有 Nesterov 加速梯度的随机拟牛顿方法

    本文提出了一种具有 Nesterov 加速梯度的随机（在线）拟牛顿方法，用于解决神经网络中的大规模非凸优化问题，结果表明其性能优于传统的二阶 oBFGS 和 oLBFGS 方法以及常用的一阶随机梯度方法，还在不同的动量率和批处理大小下进行了说明。

    Sep, 2019

  • 非凸集合交替极小化和交替下降

    本文研究了应用于两个变量上且每个变量可被限制在潜在非凸约束集上的损失函数的交替最小化方法，该方法在高维统计学和信号处理中常常出现。作者提出了本地凹率系数来度量非凸集合的凹性，进一步揭示了交替和非交替方法之间的重要区别。此外，作者还提出了不精确算法的一组足够条件，以确保其快速收敛，并通过多任务回归等例子进行了验证。

    Sep, 2017

  • 非凸优化的加速梯度算法：从严格鞍点的逃逸轨迹到局部极小值的收敛

    本文研究了加速梯度方法在光滑非凸函数上的行为，提出了一类 Nesterov 型加速方法，并通过显式和隐式分析证明了其能够避免滑点并收敛于局部最小值。

    Jul, 2023

  • 非凸情况下的近端交替方向乘子法：收敛性分析与速率

    提出了两个针对非凸情况的数值算法，用于快速解决优化问题。该算法基于可变度量介绍了近端项，这使得我们能够针对非凸结构优化问题构建新的近端分裂算法。在变量度量序列条件温和并且假设相关增广拉格朗日函数具有 Kurdyka-Lojasiewicz 性质的情况下，证明了该算法迭代可以收敛到 KKT 点，并获得了增广拉格朗日函数和迭代的收敛速度。

    Jan, 2018

  • 凸优化中优化梯度方法的自适应重启

    本文以自适应重启策略为基础，探讨了启发式的优化梯度方法加速收敛的方法，并且证明了自适应重启可以加速优化梯度方法的收敛速度，特别是在非光滑组合凸函数的情况下。

    Mar, 2017

  • 基于梯度的非凸优化的催化剂加速

    该论文介绍了一种通用的方案，使用最初设计用于最小化凸函数的梯度下降算法来解决非凸优化问题，该方案允许我们将这些方法用于弱凸性目标，这涵盖了机器学习和信号处理中通常出现的大类非凸函数。该方案无需假定目标函数具有凸性，而是通过自适应于未知的弱凸性常数来实现其保证。最后，本文还展示了将该方案应用于增量算法的几个实验结果。

    Mar, 2017

  • 平滑极小极大优化的高效算法

    本文研究解决平滑最小最大优化问题的一阶方法，其中 g (x,y) 是平滑的且 g (x,・) 对于每个 x 均为凹性。对于 g (・，y)，我们考虑两种情况 —— 强凸性和非凸性 —— 并在两种情况下改进了已知最佳速率。

    Jul, 2019

  • 一类非凸、非光滑问题的交替方向乘子法及其在背景 / 前景提取中的应用

    本文针对图像科学中广泛使用的一类优化问题，基于 ADMM 算法，通过使用通用的双重步长方法、构建特殊的潜函数以及采用简单的初始化策略实现了非凸优化问题全局收敛和解决，并在实际应用中进行了比较实验，表明最优化效果良好。

    Jun, 2015