Oct, 2013

用于机器学习中可分凸程序的线性交替方向方法及并行分裂和自适应罚函数

PDF
TL;DR本研究提出了 LADMPSAP 算法，它是一种高效解决多个块的可分离凸问题的算法，可以被广泛应用于机器学习和其他领域，并且在数值实验中证明了其速度和数值准确性的优势。
machine learninglinearly constrained separable convex programsalternating direction methodladmpsapnumerical experiments
发现论文，激发创造
  • 并行分裂快速近端线性交替方向乘子方法

    提出快速近端改进增广拉格朗日方法 Fast PALM 和快速近端交替方向乘子方法 Fast PL-ADMM-PS 用于解决凸规划问题，成果表明与传统方法相比，算法具有更好的收敛速度和迭代复杂度.

    Nov, 2015

  • 带收敛分析的非凸非光滑优化的线性化 ADMM

    本篇论文提出两种针对非凸非光滑目标函数的扩展线性交替方向乘子法 (ADMM)，均在较少的前提下保证收敛，并且可以使用多个块来并行计算协同变量以更有效地求解问题。

    May, 2017

  • 自适应惩罚的线性交替方向法用于低秩表示

    本文提出了一种基于线性交替方向乘子法 (linearized ADM) 与自适应惩罚控制的低秩表示 (LRR) 方法，避免了引入辅助变量与矩阵求逆所带来的计算量，采用了紧 SVD 技术进一步降低了计算复杂度，证明了此方法在大规模数据应用时比现有算法更快。

    Sep, 2011

  • 一种加速线性化交替方向乘子法

    提出一种新颖的框架 AADMM，用于加速线性化交替方向乘子法 (ADMM)，对于一类具有线性约束的凸复合优化问题，AADMM 的收敛速度比线性化 ADMM 更快，而且当相应的鞍点问题有解时，AADMM 能够处理无边界的可行域，并提出了一种回溯算法来提高实际性能。

    Jan, 2014

  • 关于交替方向乘子法线性收敛的研究

    本文研究交替方向乘子法 (ADMM) 用于多个非光滑凸可分函数的线性约束约束下极小化问题的收敛速率，通过引入一种新的与其它满足该问题的近似算法有所不同的证明手段，我们在不限制强凸性的情况下，建立了全局线性收敛性的证明方案，表明 ADMM 的线性收敛性可以在三个以上的可分函数的情况下适用，包括 LASSO，Group LASSO 和 Sparse Group LASSO 等当代应用。

    Aug, 2012

  • 自适应 ADMM 算法中的谱惩罚参数选择

    本研究提出了一种自适应调节罚项参数的方法，使得交替方向乘子法 (ADMM) 得以快速收敛，从而提高了其可靠性和自动化水平。结果表明，这种自适应 ADMM (AADMM) 算法可以相对缓解 ADMM 算法在惩罚因子调节方面存在的问题，并同时保持收敛速度较快。

    May, 2016

  • 使用双块交替方向乘子法解决多块可分凸最小化问题

    本文探讨使用交替方向乘子法（ADMM）来解决多块可分凸优化问题。提出了一种将多块问题转化为等价的二块问题来解决的策略，并分别从理论和实验结果两方面证明了其收敛性和数值效率优势。

    Aug, 2013

  • 一类非凸、非光滑问题的交替方向乘子法及其在背景 / 前景提取中的应用

    本文针对图像科学中广泛使用的一类优化问题，基于 ADMM 算法，通过使用通用的双重步长方法、构建特殊的潜函数以及采用简单的初始化策略实现了非凸优化问题全局收敛和解决，并在实际应用中进行了比较实验，表明最优化效果良好。

    Jun, 2015

  • 在线交替方向法（长版本）

    本文介绍了一种基于交替方向方法的高效在线优化算法，该算法可在具有线性约束的情况下解决在线凸优化问题，并探讨了两种在线情景，基于目标函数和是否需要附加 Bregman 距离，同时建立了综合和强凸函数方面的后悔界，并证明了在线处理的收敛性。此外还提出了一种无需显式处理投影的在线学习算法。

    Jun, 2013

  • 一类非凸问题交替方向乘子法的收敛分析

    该研究分析了 ADMM 算法在解决一些非凸共识和共享问题时的收敛性，发现当增广拉格朗日乘数的惩罚参数足够大时，经典 ADMM 算法会收敛到静止解的集合。对于共享问题，我们发现 ADMM 无论变量块的数量如何，都是收敛的。该分析不对算法生成的迭代强加任何假设，并且广泛适用于涉及近端更新规则和各种灵活的块选择规则的 ADMM 变体。

    Oct, 2014