提出了一种名为 AA-DLADMM 的算法，它使用了 Anderson 加速以改进 ADMM 优化算法的收敛速度，通过在四个基准数据集上进行广泛实验证明了该算法的有效性和效率。

Jan, 2024

基于随机梯度下降的算法用于训练深度神经网络，但通常收敛速度较慢。为了解决这个挑战，我们利用交替方向乘子法（ADMM）的框架开发了一种新的数据驱动算法，称为批量 ADMM（BADM）。该算法的基本思想是将训练数据划分为批次，进一步将其分成子批次，在此过程中通过聚合更新原始和对偶变量以生成全局参数。我们评估了 BADM 在各种深度学习任务中的性能，包括图建模、计算机视觉、图像生成和自然语言处理。广泛的数值实验表明，与其他先进优化器相比，BADM 实现了更快的收敛速度和优越的测试准确性。

Jun, 2024

本文提出一种深度神经网络 Differentiable Linearized ADMM (D-LADMM)，用于求解具有线性约束的问题，并证明该方法是可收敛的，同时也是第一个在约束问题上提供收敛性分析的学习优化方法。

May, 2019

本文提出一种新的随机交替方向乘子法（ADMM）算法，其在线性化 ADMM 公式上逐步逼近全梯度。实验证明，该算法在凸优化问题上的收敛速度得到提高，速度显著快于现有的随机和批量 ADMM 算法。

Aug, 2013

提出一种新颖的框架 AADMM，用于加速线性化交替方向乘子法 (ADMM)，对于一类具有线性约束的凸复合优化问题，AADMM 的收敛速度比线性化 ADMM 更快，而且当相应的鞍点问题有解时，AADMM 能够处理无边界的可行域，并提出了一种回溯算法来提高实际性能。

Jan, 2014

本文提出一种快速且高效的分布式机器学习框架，名为 Group Alternating Direction Method of Multipliers (GADMM)，该算法在分布式 topology 中解决问题，且与现有算法相比，实现更快的收敛和更高的通讯效率；此外，还提出了 GADMM 的变体，即 Dynamic GADMM (D-GADMM)，并证明了其在时间变化的网络拓扑下的收敛性。

Aug, 2019

本文提出了一种线性化的 ADMM 算法，用于最小化一个凸函数在非凸约束下的解，旨在解决变量处于神经网络范围内的约束问题，并给出了这种算法在 feedforward 架构下的性能特征，相比于梯度下降法更加高效。

Jul, 2019

本文提出了一种用于训练深度神经网络的交替方向乘子法，该方法能够有效地避免 Sigmoid 型激活函数饱和的问题，并且相较于常用的 ReLU 型激活函数，Sigmoid 型激活函数的逼近能力并不劣，通过实验证明，提出的交替方向乘子法对比 ReLU-SGD 算法在学习简单重要函数时表现更佳。

Feb, 2019

本文研究了基于 ADMM 的分布式优化方法，提出了一种异步 ADMM 算法，可以有效提高分布式计算的时间效率，同时通过对算法参数的适当选择，可以保证算法收敛到 Karush-Kuhn-Tucker（KKT）点集。

Sep, 2015

本文探讨了在信号处理等领域中出现的多智能体分布式共识优化问题，并提出了与经典共识子梯度方法相比，收敛速度更快但计算复杂度更高的 ADMM 算法。同时，通过引入一步不精确计算的方法，降低了 ADMM 的计算复杂度，并证明了该算法具有良好的收敛性能。

Feb, 2014