提出了一种名为 AA-DLADMM 的算法，它使用了 Anderson 加速以改进 ADMM 优化算法的收敛速度，通过在四个基准数据集上进行广泛实验证明了该算法的有效性和效率。

Jan, 2024

本文提出 dlADMM 算法解决常规深度学习中使用 ADMM 所面临的全局收敛保证缺失，收敛速度慢以及计算时间复杂度高的问题，并且通过在子问题中使用迭代二次近似和回溯进行有效增强的特定算法设计，将时间复杂度从特征维度的立方降至二次，并在温和条件下提供了支持 ADMM 的深度神经网络问题全局收敛的第一份证明。大规模实验表明，本文所提出的 dlADMM 算法优于大多数比较方法。

May, 2019

本文提出了一种线性化的 ADMM 算法，用于最小化一个凸函数在非凸约束下的解，旨在解决变量处于神经网络范围内的约束问题，并给出了这种算法在 feedforward 架构下的性能特征，相比于梯度下降法更加高效。

Jul, 2019

基于随机梯度下降的算法用于训练深度神经网络，但通常收敛速度较慢。为了解决这个挑战，我们利用交替方向乘子法（ADMM）的框架开发了一种新的数据驱动算法，称为批量 ADMM（BADM）。该算法的基本思想是将训练数据划分为批次，进一步将其分成子批次，在此过程中通过聚合更新原始和对偶变量以生成全局参数。我们评估了 BADM 在各种深度学习任务中的性能，包括图建模、计算机视觉、图像生成和自然语言处理。广泛的数值实验表明，与其他先进优化器相比，BADM 实现了更快的收敛速度和优越的测试准确性。

Jun, 2024

本文针对图像科学中广泛使用的一类优化问题，基于 ADMM 算法，通过使用通用的双重步长方法、构建特殊的潜函数以及采用简单的初始化策略实现了非凸优化问题全局收敛和解决，并在实际应用中进行了比较实验，表明最优化效果良好。

Jun, 2015

本文提出一种新的随机交替方向乘子法（ADMM）算法，其在线性化 ADMM 公式上逐步逼近全梯度。实验证明，该算法在凸优化问题上的收敛速度得到提高，速度显著快于现有的随机和批量 ADMM 算法。

Aug, 2013

本文研究交替方向乘子法 (ADMM) 用于多个非光滑凸可分函数的线性约束约束下极小化问题的收敛速率，通过引入一种新的与其它满足该问题的近似算法有所不同的证明手段，我们在不限制强凸性的情况下，建立了全局线性收敛性的证明方案，表明 ADMM 的线性收敛性可以在三个以上的可分函数的情况下适用，包括 LASSO，Group LASSO 和 Sparse Group LASSO 等当代应用。

Aug, 2012

本论文使用交替方向乘子法（ADMM）来识别网络的稀疏结构，通过最小化一个目标函数，附带有促进稀疏的额外惩罚项，减少卷积神经网络（CNNs）的计算复杂度，生成具有更少计算和参数的模型同时保持或提高泛化能力。

Nov, 2016

本文研究了基于 ADMM 的分布式优化方法，提出了一种异步 ADMM 算法，可以有效提高分布式计算的时间效率，同时通过对算法参数的适当选择，可以保证算法收敛到 Karush-Kuhn-Tucker（KKT）点集。

Sep, 2015

本文提出一种深度神经网络 Differentiable Linearized ADMM (D-LADMM)，用于求解具有线性约束的问题，并证明该方法是可收敛的，同时也是第一个在约束问题上提供收敛性分析的学习优化方法。

May, 2019