本文提出 dlADMM 算法解决常规深度学习中使用 ADMM 所面临的全局收敛保证缺失，收敛速度慢以及计算时间复杂度高的问题，并且通过在子问题中使用迭代二次近似和回溯进行有效增强的特定算法设计，将时间复杂度从特征维度的立方降至二次，并在温和条件下提供了支持 ADMM 的深度神经网络问题全局收敛的第一份证明。大规模实验表明，本文所提出的 dlADMM 算法优于大多数比较方法。

May, 2019

提出一种新颖的框架 AADMM，用于加速线性化交替方向乘子法 (ADMM)，对于一类具有线性约束的凸复合优化问题，AADMM 的收敛速度比线性化 ADMM 更快，而且当相应的鞍点问题有解时，AADMM 能够处理无边界的可行域，并提出了一种回溯算法来提高实际性能。

Jan, 2014

本文提出一种新的随机交替方向乘子法（ADMM）算法，其在线性化 ADMM 公式上逐步逼近全梯度。实验证明，该算法在凸优化问题上的收敛速度得到提高，速度显著快于现有的随机和批量 ADMM 算法。

Aug, 2013

本文提出了一种用于训练深度神经网络的交替方向乘子法，该方法能够有效地避免 Sigmoid 型激活函数饱和的问题，并且相较于常用的 ReLU 型激活函数，Sigmoid 型激活函数的逼近能力并不劣，通过实验证明，提出的交替方向乘子法对比 ReLU-SGD 算法在学习简单重要函数时表现更佳。

Feb, 2019

本文提出了一种线性化的 ADMM 算法，用于最小化一个凸函数在非凸约束下的解，旨在解决变量处于神经网络范围内的约束问题，并给出了这种算法在 feedforward 架构下的性能特征，相比于梯度下降法更加高效。

Jul, 2019

本文通过在 GPU 上建立 ADMM 的求解器来加速大规模优化问题的求解，实现了高效地利用算力提高求解速度，并与 CPU 实现相比，速度提高了数十倍。

Dec, 2019

本文研究了基于 ADMM 的分布式优化方法，提出了一种异步 ADMM 算法，可以有效提高分布式计算的时间效率，同时通过对算法参数的适当选择，可以保证算法收敛到 Karush-Kuhn-Tucker（KKT）点集。

Sep, 2015

本文提出一种快速且高效的分布式机器学习框架，名为 Group Alternating Direction Method of Multipliers (GADMM)，该算法在分布式 topology 中解决问题，且与现有算法相比，实现更快的收敛和更高的通讯效率；此外，还提出了 GADMM 的变体，即 Dynamic GADMM (D-GADMM)，并证明了其在时间变化的网络拓扑下的收敛性。

Aug, 2019

本文提供了 DP-ADMM 算法，它结合了近似增广拉格朗日函数和时间变化的高斯噪声添加，以在相同的不同隐私保证下，实现更高效的一般目标函数的分布式学习，同时应用矩 accountant 方法来限制端到端的隐私损失。DP-ADMM 算法可以用于更广泛的分布式学习问题，具有可证明的收敛性和明确的效用 - 隐私权衡，并且可以实现高的收敛性和模型精度。

Aug, 2018

本文介绍了镜像下降算法和交替方向乘子法，提出了 Bregman ADMM 框架，实现了问题结构的利用，并且在质量传输问题中实现了大规模并行计算。

Jun, 2013