NIPSFeb, 2014

高维情况下的多步随机 ADMM：稀疏优化和嘈杂矩阵分解应用

PDF
TL;DR本文介绍了一种基于 epoch-based 退火的高维优化算法 ADMM，其可以用于稀疏优化问题和矩阵分解问题，实验结果表明其在精度和时间复杂度方面均优于现有算法。
发现论文，激发创造
  • 快速随机交替方向乘子法

    本文提出一种新的随机交替方向乘子法（ADMM）算法，其在线性化 ADMM 公式上逐步逼近全梯度。实验证明，该算法在凸优化问题上的收敛速度得到提高，速度显著快于现有的随机和批量 ADMM 算法。

    Aug, 2013

  • 广义张量分解的 ADMM-MM 算法

    该论文提出了一种面向一般线性观测模型中低秩张量逆问题的新统一优化算法，该算法支持多种低秩张量分解模型和基本损失函数，并提出了基于交替方向乘子法向和主化极小化方法的优化算法。通过该算法可以解决广泛的应用，并且可以轻松扩展到任何已建立的张量分解模型。

    Dec, 2023

  • 可扩展的随机交替方向乘子法

    本文提出了一种新的针对大规模优化和学习问题的方法，称为可扩展随机 ADMM (SCAS-ADMM)，可以在不需要存储历史梯度的情况下，在一般凸问题上达到与最佳随机方法 SA-ADMM 和批处理 ADMM 相同的收敛速度。实验结果表明，SCAS-ADMM 能够在实际应用中达到最先进的性能。

    Feb, 2015

  • 通过并行 ADMM 进行广义高阶张量分解

    针对高阶张量分解中的模型选择、大规模数据和计算效率等难点，本文提出了一种基于迹范数的正则化并可并行计算的分解方法，能够有效分解低秩结构的张量，并具有较强的鲁棒性。

    Jul, 2014

  • 随机 ADMM 实现的非凸随机嵌套优化

    本研究考虑了随机嵌套组合优化问题，方法使用随机 ADMM 算法，当期望罚函数子梯度的模小于某一 epsilon 时，其在线情况下的总样本复杂度为 O (epsilon^-3)，有限求和情况下为 O ((2N1+N2) + (2N1+N2)^1/2*epsilon^-2)，算法实现相对于现有的基于 proximal 算法的版本更为通用。

    Nov, 2019

  • 一类非凸、非光滑问题的交替方向乘子法及其在背景 / 前景提取中的应用

    本文针对图像科学中广泛使用的一类优化问题，基于 ADMM 算法，通过使用通用的双重步长方法、构建特殊的潜函数以及采用简单的初始化策略实现了非凸优化问题全局收敛和解决，并在实际应用中进行了比较实验，表明最优化效果良好。

    Jun, 2015

  • 小批量随机 ADMM 方法求解非凸非光滑优化问题

    本文提出了一种用于解决大规模非凸非光滑问题的小批量随机 ADMM 类方法，并将小批量随机梯度方法扩展到非凸 SVRG-ADMM 和 SAGA-ADMM 中。

    Feb, 2018

  • 随机方差减少 ADMM

    本文提出了一种新的优化算法 ADMM-SVRG，与传统算法相比能够在低存储空间的前提下达到更快的收敛速率，还可以用于解决非凸问题。实验结果表明，它比 SCAS-ADMM 快得多，可以处理更大的数据集。

    Apr, 2016

  • 零阶随机交替方向乘子法用于非凸非光滑优化

    本文提出了一种基于坐标平滑梯度估计器的快速零阶随机 ADMM 方法（即 ZO-SVRG-ADMM 和 ZO-SAGA-ADMM），用于解决具有多个非光滑惩罚的非凸问题，证明了这两种方法的收敛速率为 $O（1 / T）$，可以有效地解决许多复杂的机器学习问题。

    May, 2019

  • 随机 ADMM 及其变体的一般连续时间公式

    广义随机 ADMM 是一种统一的算法框架，通过对随机 ADMM 及其变种进行连续时间分析，证明在适当缩放下，随机 ADMM 的轨迹弱收敛到带有小噪声的随机微分方程的解，同时提供了为什么松弛参数应选择在 0 到 2 之间的理论解释。

    Apr, 2024