IJCAIMay, 2019

零阶随机交替方向乘子法用于非凸非光滑优化

PDF
TL;DR本文提出了一种基于坐标平滑梯度估计器的快速零阶随机 ADMM 方法（即 ZO-SVRG-ADMM 和 ZO-SAGA-ADMM），用于解决具有多个非光滑惩罚的非凸问题，证明了这两种方法的收敛速率为 $O（1 / T）$，可以有效地解决许多复杂的机器学习问题。
发现论文，激发创造
  • 非凸优化的带方差约化随机交替方向乘子法

    本文介绍了基于不同减小方差的随机梯度的三种非凸随机交替方向乘子方法，包括 SVRG-ADMM、SAG-ADMM 和 SAGA-ADMM，并通过一些温和的条件建立了这些方法的迭代复杂度界限为 O (1/ε)，最后通过数值实验证明了方法的有效性。

    Oct, 2016

  • ZO-AdaMM：零阶自适应动量方法用于黑盒优化

    该研究提出了一种名为 ZO-AdaMM 的零阶梯度黑盒优化方法，它将 AdaMM 通用于无梯度形式的场景，并阐述了它的收敛率问题以及在非凸约束优化问题中的适用性，最终通过 ImageNet 数据的两个实验应用证明了 ZO-AdaMM 的高精确度和快速收敛能力。

    Oct, 2019

  • 零阶在线交替方向乘子法：收敛分析与应用

    本文提出了一种新的零阶在线算法，结合了梯度无需运算和 ADMM 可适应复杂的结构化正则化器的优点。通过两种小批量策略的使用后，该算法的收敛速度有了改善并在信号处理，统计学和机器学习中展示了应用。

    Oct, 2017

  • 随机方差减少 ADMM

    本文提出了一种新的优化算法 ADMM-SVRG，与传统算法相比能够在低存储空间的前提下达到更快的收敛速率，还可以用于解决非凸问题。实验结果表明，它比 SCAS-ADMM 快得多，可以处理更大的数据集。

    Apr, 2016

  • 小批量随机 ADMM 方法求解非凸非光滑优化问题

    本文提出了一种用于解决大规模非凸非光滑问题的小批量随机 ADMM 类方法，并将小批量随机梯度方法扩展到非凸 SVRG-ADMM 和 SAGA-ADMM 中。

    Feb, 2018

  • 快速随机交替方向乘子法

    本文提出一种新的随机交替方向乘子法（ADMM）算法，其在线性化 ADMM 公式上逐步逼近全梯度。实验证明，该算法在凸优化问题上的收敛速度得到提高，速度显著快于现有的随机和批量 ADMM 算法。

    Aug, 2013

  • 一类非凸、非光滑问题的交替方向乘子法及其在背景 / 前景提取中的应用

    本文针对图像科学中广泛使用的一类优化问题，基于 ADMM 算法，通过使用通用的双重步长方法、构建特殊的潜函数以及采用简单的初始化策略实现了非凸优化问题全局收敛和解决，并在实际应用中进行了比较实验，表明最优化效果良好。

    Jun, 2015

  • 可扩展的随机交替方向乘子法

    本文提出了一种新的针对大规模优化和学习问题的方法，称为可扩展随机 ADMM (SCAS-ADMM)，可以在不需要存储历史梯度的情况下，在一般凸问题上达到与最佳随机方法 SA-ADMM 和批处理 ADMM 相同的收敛速度。实验结果表明，SCAS-ADMM 能够在实际应用中达到最先进的性能。

    Feb, 2015

  • 非凸优化的快速随机交替方向乘子方法

    本文提出了一个基于 SPIDER 的更快的用于非凸优化的随机交替方向乘法方法（SPIDER-ADMM），证明了 SPIDER-ADMM 能够实现记录性的增量一阶 Oracle 复杂度，并且扩展了 SPIDER-ADMM 到在线设置，并提出了更快的在线 SPIDER-ADMM。

    Aug, 2020

  • ADMM 在非凸问题中的实证研究

    本文为非凸优化问题提供一种广泛适用的解决方法，即交替方向乘子法（ADMM），并研究了其在不同领域的实用性，包括线性回归、图像降噪、相位恢复及特征向量计算， 最近从提出的自适应 ADMM 方法可以通过自动调整惩罚参数来提高算法效率和解决质量 compared to ADMM with a non-tuned penalty。

    Dec, 2016