基于线性化增广 Lagrangian 函数的约束凸规划的一阶方法

Nov, 2017

基于线性化增广 Lagrangian 函数的约束凸规划的一阶方法

First-order methods for constrained convex programming based on linearized augmented Lagrangian function

Yangyang Xu

TL;DR本文提出了两种针对带约束凸问题的一阶方法，分别使用增广拉格朗日方法和单一近端梯度步进行变量更新，并证明了它们的全局和局部收敛性。数值实验验证了理论结果与实际表现的一致性。

Abstract

First-order methods have been popularly used for solving large-scale problems. However, many existing works only consider unconstrained problems or those with simple constraint. In this paper, we develop two first-order methods for constrained convex programs, for which the constraint

constrained convex programs augmented lagrangian method proximal gradient step global convergence numerical experiments

发现论文，激发创造

非强凸优化的一阶方法线性收敛

本文研究了解决光滑的非强凸约束优化问题的一些一阶方法的收敛率，提供了一些松弛的强凸条件并证明了它们对于多种一阶方法的线性收敛是足够的，最后证明了所提出的松弛强凸条件涵盖了求解线性系统、线性规划和线性约束凸问题的重要应用。

Apr, 2015

约束非凸优化的提速不精确增广拉格朗日方法

本研究提出了一种改进的不精确增广拉格朗日方法（iALM），并通过统一分析证明了针对具有线性等式或非凸约束的非凸问题的 iALM 的高效性，该算法在实践中比罚函数方法表现显著更好。我们的数值实验验证了所提出的方法的有效性，具有重要的理论和实践意义。

Jul, 2020

非凸优化及非线性约束问题的不精确增广 Lagrangian 框架

本研究提出了一种实用的不精确增广拉格朗日方法（iALM）用于具有非凸问题和非线性约束，这种方法可以在计算复杂度上符合理论结果。

Jun, 2019

具有函数约束的变分不等式问题的原始方法

本研究提出了一个简单的原始方法，称为约束梯度法（CGM），以解决具有功能约束的变分不等式问题，并建立了非渐近收敛性分析，同时利用基于二次规划的更便宜的预算。

Mar, 2024

利用原始对偶一阶算法从数据中挖掘强凸性

本文提出了批处理和随机的原始 - 对偶算法，可以自适应地利用数据的强凸性，即使在没有正则化的情况下也能实现线性收敛，并介绍了适用于逻辑回归的免双重正演算法。

Mar, 2017

快速交替线性化方法求解两个凸函数的和的最小化

本文提出了基于交替方向增广 Lagrange 方法的一阶交替线性化算法，该算法可以最小化两个凸函数的和，并给出了两种算法实现方法。实验结果验证了该算法的理论收敛性和实际应用潜力。

Dec, 2009

线性约束非凸优化的乘子近端交替方向法

本文提出了一种新的 proximal ADMM 算法，使用平滑后的原始迭代的序列并在每次迭代时向增广拉格朗日函数中引入一个二次近似项。该算法的迭代收敛到这个问题的一个站点，特别是当目标函数是二次函数时，证明算法的线性收敛性。

Dec, 2018

超越凸性和 Lipschitz 梯度连续性的一阶方法及其在二次逆问题中的应用

利用可适应性光滑函数的概念和 Bregman 基础的近端梯度方法，在解决具有复杂目标函数的非凸、非光滑最小化问题时，实现全局收敛。

Jun, 2017

解凸二层优化问题的一阶方法

本文研究凸双层优化问题，其中内层最小化平滑函数和非凸函数的和，外层旨在在内层问题的最优解集合上最小化平滑且强凸的函数。我们分析了一个基于现有不动点算法的一阶方法，通过内部目标函数值建立了方法的全局次线性收敛率。

Feb, 2017

非凸情况下的近端交替方向乘子法：收敛性分析与速率

提出了两个针对非凸情况的数值算法，用于快速解决优化问题。该算法基于可变度量介绍了近端项，这使得我们能够针对非凸结构优化问题构建新的近端分裂算法。在变量度量序列条件温和并且假设相关增广拉格朗日函数具有 Kurdyka-Lojasiewicz 性质的情况下，证明了该算法迭代可以收敛到 KKT 点，并获得了增广拉格朗日函数和迭代的收敛速度。

Jan, 2018