本文介绍了基于不同减小方差的随机梯度的三种非凸随机交替方向乘子方法，包括 SVRG-ADMM、SAG-ADMM 和 SAGA-ADMM，并通过一些温和的条件建立了这些方法的迭代复杂度界限为 O (1/ε)，最后通过数值实验证明了方法的有效性。

Oct, 2016

本文提出了一种基于坐标平滑梯度估计器的快速零阶随机 ADMM 方法（即 ZO-SVRG-ADMM 和 ZO-SAGA-ADMM），用于解决具有多个非光滑惩罚的非凸问题，证明了这两种方法的收敛速率为 $O（1 / T）$，可以有效地解决许多复杂的机器学习问题。

May, 2019

本文提出了一种新的优化算法 ADMM-SVRG，与传统算法相比能够在低存储空间的前提下达到更快的收敛速率，还可以用于解决非凸问题。实验结果表明，它比 SCAS-ADMM 快得多，可以处理更大的数据集。

Apr, 2016

通过在随机抽样的 ADMM 方法中引入动量加速技巧，进一步提高了广义凸问题的收敛速度，从 O (1/T) 到 O (1/T^2)，并在强凸问题中获得了线性收敛速度。

Jul, 2017

本文提出了一种新的针对大规模优化和学习问题的方法，称为可扩展随机 ADMM (SCAS-ADMM)，可以在不需要存储历史梯度的情况下，在一般凸问题上达到与最佳随机方法 SA-ADMM 和批处理 ADMM 相同的收敛速度。实验结果表明，SCAS-ADMM 能够在实际应用中达到最先进的性能。

Feb, 2015

本文针对图像科学中广泛使用的一类优化问题，基于 ADMM 算法，通过使用通用的双重步长方法、构建特殊的潜函数以及采用简单的初始化策略实现了非凸优化问题全局收敛和解决，并在实际应用中进行了比较实验，表明最优化效果良好。

Jun, 2015

本文分析了交替方向乘子法（ADMM）在非凸优化中的收敛性，并提供了针对特定情形的收敛保证。同时，通过例子和分析，本文表明 ADMM 有望比增广拉格朗日方法（ALM）更适用于某些非凸非光滑问题。

Nov, 2015

本文提出一种新的随机交替方向乘子法（ADMM）算法，其在线性化 ADMM 公式上逐步逼近全梯度。实验证明，该算法在凸优化问题上的收敛速度得到提高，速度显著快于现有的随机和批量 ADMM 算法。

Aug, 2013

本文介绍了一些带有或没有耦合的非凸优化模型，使用了相关的优化算法，如条件梯度和 ADMM， 为专门处理非凸和非光滑优化问题的理论和算法的发展提出了一步。通过数值实验，证明了这些算法的高效性，特别是在张量鲁棒 PCA 的场景下。

May, 2016

本文提出了一种线性化的 ADMM 算法，用于最小化一个凸函数在非凸约束下的解，旨在解决变量处于神经网络范围内的约束问题，并给出了这种算法在 feedforward 架构下的性能特征，相比于梯度下降法更加高效。

Jul, 2019