Aug, 2013

快速随机交替方向乘子法

PDF
TL;DR本文提出一种新的随机交替方向乘子法（ADMM）算法，其在线性化 ADMM 公式上逐步逼近全梯度。实验证明，该算法在凸优化问题上的收敛速度得到提高，速度显著快于现有的随机和批量 ADMM 算法。
stochastic admm algorithmconvex optimizationconvergence ratelinearized admm formulationgraph-guided fused lasso
发现论文，激发创造
  • 可扩展的随机交替方向乘子法

    本文提出了一种新的针对大规模优化和学习问题的方法，称为可扩展随机 ADMM (SCAS-ADMM)，可以在不需要存储历史梯度的情况下，在一般凸问题上达到与最佳随机方法 SA-ADMM 和批处理 ADMM 相同的收敛速度。实验结果表明，SCAS-ADMM 能够在实际应用中达到最先进的性能。

    Feb, 2015

  • 一种加速线性化交替方向乘子法

    提出一种新颖的框架 AADMM，用于加速线性化交替方向乘子法 (ADMM)，对于一类具有线性约束的凸复合优化问题，AADMM 的收敛速度比线性化 ADMM 更快，而且当相应的鞍点问题有解时，AADMM 能够处理无边界的可行域，并提出了一种回溯算法来提高实际性能。

    Jan, 2014

  • 一类非凸、非光滑问题的交替方向乘子法及其在背景 / 前景提取中的应用

    本文针对图像科学中广泛使用的一类优化问题，基于 ADMM 算法，通过使用通用的双重步长方法、构建特殊的潜函数以及采用简单的初始化策略实现了非凸优化问题全局收敛和解决，并在实际应用中进行了比较实验，表明最优化效果良好。

    Jun, 2015

  • 随机 ADMM 及其变体的一般连续时间公式

    广义随机 ADMM 是一种统一的算法框架，通过对随机 ADMM 及其变种进行连续时间分析，证明在适当缩放下，随机 ADMM 的轨迹弱收敛到带有小噪声的随机微分方程的解，同时提供了为什么松弛参数应选择在 0 到 2 之间的理论解释。

    Apr, 2024

  • 随机方差减少 ADMM

    本文提出了一种新的优化算法 ADMM-SVRG，与传统算法相比能够在低存储空间的前提下达到更快的收敛速率，还可以用于解决非凸问题。实验结果表明，它比 SCAS-ADMM 快得多，可以处理更大的数据集。

    Apr, 2016

  • 非凸优化的带方差约化随机交替方向乘子法

    本文介绍了基于不同减小方差的随机梯度的三种非凸随机交替方向乘子方法，包括 SVRG-ADMM、SAG-ADMM 和 SAGA-ADMM，并通过一些温和的条件建立了这些方法的迭代复杂度界限为 O (1/ε)，最后通过数值实验证明了方法的有效性。

    Oct, 2016

  • 零阶随机交替方向乘子法用于非凸非光滑优化

    本文提出了一种基于坐标平滑梯度估计器的快速零阶随机 ADMM 方法（即 ZO-SVRG-ADMM 和 ZO-SAGA-ADMM），用于解决具有多个非光滑惩罚的非凸问题，证明了这两种方法的收敛速率为 $O（1 / T）$，可以有效地解决许多复杂的机器学习问题。

    May, 2019

  • 一类非凸问题交替方向乘子法的收敛分析

    该研究分析了 ADMM 算法在解决一些非凸共识和共享问题时的收敛性，发现当增广拉格朗日乘数的惩罚参数足够大时，经典 ADMM 算法会收敛到静止解的集合。对于共享问题，我们发现 ADMM 无论变量块的数量如何，都是收敛的。该分析不对算法生成的迭代强加任何假设，并且广泛适用于涉及近端更新规则和各种灵活的块选择规则的 ADMM 变体。

    Oct, 2014

  • 多重网格并行方向乘子法

    本文提出了一种名为 “Parallel Direction Method of Multipliers（PDMM）” 的随机块坐标方法，以解决带有多块线性约束的优化问题，并表明 PDMM 在两个应用程序中均优于现有技术方法，在全局收敛和迭代复杂度方面进行了详细说明

    Jun, 2014

  • 并行分裂快速近端线性交替方向乘子方法

    提出快速近端改进增广拉格朗日方法 Fast PALM 和快速近端交替方向乘子方法 Fast PL-ADMM-PS 用于解决凸规划问题，成果表明与传统方法相比，算法具有更好的收敛速度和迭代复杂度.

    Nov, 2015