一种带自适应动量的加速分块近端框架用于非凸非光滑优化
本文探讨了非凸优化中加速近端梯度法及其变体的收敛性,并提出了一种新的变体利用自适应动量和块坐标更新来进一步改进广泛类别的非凸问题中的性能,在稀疏线性回归和正则化中表现出可证明的局部线性收敛性。
Oct, 2017
在非凸优化问题中,本文研究了加速近端梯度法 (APGnc) 以及基于其的随机方差减少 (APGnc) 算法,证明了其所生成的序列的极限点是目标函数的临界点,并通过 KL 函数的性质获得了线性和次线性的收敛速率。
May, 2017
提出了两个针对非凸情况的数值算法,用于快速解决优化问题。该算法基于可变度量介绍了近端项,这使得我们能够针对非凸结构优化问题构建新的近端分裂算法。在变量度量序列条件温和并且假设相关增广拉格朗日函数具有 Kurdyka-Lojasiewicz 性质的情况下,证明了该算法迭代可以收敛到 KKT 点,并获得了增广拉格朗日函数和迭代的收敛速度。
Jan, 2018
本文介绍了一些带有或没有耦合的非凸优化模型,使用了相关的优化算法,如条件梯度和 ADMM, 为专门处理非凸和非光滑优化问题的理论和算法的发展提出了一步。通过数值实验,证明了这些算法的高效性,特别是在张量鲁棒 PCA 的场景下。
May, 2016
本文提出了一种新的 proximal ADMM 算法,使用平滑后的原始迭代的序列并在每次迭代时向增广拉格朗日函数中引入一个二次近似项。该算法的迭代收敛到这个问题的一个站点,特别是当目标函数是二次函数时,证明算法的线性收敛性。
Dec, 2018
我们扩展了 Approximate-Proximal Point 方法,在随机凸优化问题中应用包括随机次梯度、近端点和束方法,同时提出了更快的模型算法和加速方案,保持了 Approximate-Proximal Point 算法的鲁棒性,同时提供了更快的收敛速度和更低的界限。我们通过实证测试证实了理论结果的可行性。
Jan, 2021
提出了一种基于 prox-linear surrogate 的原则的优化算法,证明了其全迭代序列收敛于关键点并具有较快的收敛速度,并将其应用于非凸正则化线性回归和非负矩阵分解等问题。
Oct, 2014
本文介绍了多步优化算法的收敛加速方案,并使用 Chebyshev 问题模拟了迭代过程中的行为,同时讨论了该方案在原始 - 对偶算法中的应用,并在逻辑回归问题中进行了数值实验。
Oct, 2018
本文提出了一种用于解决多块凸优化问题的随机 Primal-Dual 近端块坐标更新框架,并使用其达到 $O (1/t)$ 的收敛速度,且包含现有算法的特例,以及推广至解决随机编程的问题。
May, 2016
本文提出了一种随机非单调块次梯度法,可用于最小化平滑函数和块可分离(可能非凸,非光滑)函数之和。该方法具有一定的收敛速度和找到一个近似静止点的能力,可以用于解决最小二乘问题和双重支持向量机问题。
Jun, 2013