非凸约束的非线性等式问题交替方向乘子法的一般化
该研究分析了 ADMM 算法在解决一些非凸共识和共享问题时的收敛性,发现当增广拉格朗日乘数的惩罚参数足够大时,经典 ADMM 算法会收敛到静止解的集合。对于共享问题,我们发现 ADMM 无论变量块的数量如何,都是收敛的。该分析不对算法生成的迭代强加任何假设,并且广泛适用于涉及近端更新规则和各种灵活的块选择规则的 ADMM 变体。
Oct, 2014
本文为非凸优化问题提供一种广泛适用的解决方法,即交替方向乘子法(ADMM),并研究了其在不同领域的实用性,包括线性回归、图像降噪、相位恢复及特征向量计算, 最近从提出的自适应 ADMM 方法可以通过自动调整惩罚参数来提高算法效率和解决质量 compared to ADMM with a non-tuned penalty。
Dec, 2016
本文分析了交替方向乘子法(ADMM)在非凸优化中的收敛性,并提供了针对特定情形的收敛保证。同时,通过例子和分析,本文表明 ADMM 有望比增广拉格朗日方法(ALM)更适用于某些非凸非光滑问题。
Nov, 2015
本文研究了一种名为 Bregman modification 的 ADMM 算法,在某些限定条件下证明了 BADMM 迭代序列能够收敛到相关增广拉格朗日函数的静止点,这为 ADMM 在非凸设置中的应用提供了可行性。
Oct, 2014
本文针对图像科学中广泛使用的一类优化问题,基于 ADMM 算法,通过使用通用的双重步长方法、构建特殊的潜函数以及采用简单的初始化策略实现了非凸优化问题全局收敛和解决,并在实际应用中进行了比较实验,表明最优化效果良好。
Jun, 2015
本篇论文提出两种针对非凸非光滑目标函数的扩展线性交替方向乘子法 (ADMM),均在较少的前提下保证收敛,并且可以使用多个块来并行计算协同变量以更有效地求解问题。
May, 2017
提出一种新颖的框架 AADMM,用于加速线性化交替方向乘子法 (ADMM),对于一类具有线性约束的凸复合优化问题,AADMM 的收敛速度比线性化 ADMM 更快,而且当相应的鞍点问题有解时,AADMM 能够处理无边界的可行域,并提出了一种回溯算法来提高实际性能。
Jan, 2014
提出了 Gauss-Seidel ADMMs 和 Jacobian ADMMs 框架及其收敛分析。我们展示了这些框架可以通过最小化可分离 majorant 替代加强本来只可以解决可分离问题的 ADMMs。我们还介绍了几种提高 ADMM 效率的技术,特别地,我们提出了 M-ADMM,它通过吸收 Gauss-Seidel ADMMs 的特点来缓解 Jacobian ADMMs 的缓慢收敛问题。在理论保证和数值实验方面,我们的新 ADMMs 表现优越。此外,我们还发布了一个工具箱,其中包含了很多压缩感知问题的高效 ADMMs 的实现。
Jul, 2016
本文研究交替方向乘子法 (ADMM) 用于多个非光滑凸可分函数的线性约束约束下极小化问题的收敛速率,通过引入一种新的与其它满足该问题的近似算法有所不同的证明手段,我们在不限制强凸性的情况下,建立了全局线性收敛性的证明方案,表明 ADMM 的线性收敛性可以在三个以上的可分函数的情况下适用,包括 LASSO,Group LASSO 和 Sparse Group LASSO 等当代应用。
Aug, 2012
本研究介绍了一种 Bregman 改进的 3 块 ADMM,并证明了其在大多数非凸函数下的收敛性,进一步扩展到多块(N≥3)的情况,证明了其在非凸设置下的可行性。
May, 2015