本文提出一种新的随机交替方向乘子法（ADMM）算法，其在线性化ADMM公式上逐步逼近全梯度。实验证明，该算法在凸优化问题上的收敛速度得到提高，速度显著快于现有的随机和批量ADMM算法。

Aug, 2013

本文提出了基于随机平均梯度方法的优化算法，它克服了黑匣子随机梯度方法的缺点，具有更快的收敛速度和更少的梯度评估数量。实验表明，该算法在许多情况下都优于现有的随机梯度方法和确定性梯度方法，并且可以通过非均匀采样策略进一步提高表现。

Sep, 2013

本研究提出了LADMPSAP算法，它是一种高效解决多个块的可分离凸问题的算法，可以被广泛应用于机器学习和其他领域，并且在数值实验中证明了其速度和数值准确性的优势。

Oct, 2013

本文提出了一种新的针对大规模优化和学习问题的方法，称为可扩展随机ADMM (SCAS-ADMM)，可以在不需要存储历史梯度的情况下，在一般凸问题上达到与最佳随机方法 SA-ADMM 和批处理 ADMM 相同的收敛速度。实验结果表明，SCAS-ADMM 能够在实际应用中达到最先进的性能。

Feb, 2015

提出快速近端改进增广拉格朗日方法Fast PALM和快速近端交替方向乘子方法Fast PL-ADMM-PS用于解决凸规划问题，成果表明与传统方法相比，算法具有更好的收敛速度和迭代复杂度.

Nov, 2015

通过在随机抽样的ADMM方法中引入动量加速技巧，进一步提高了广义凸问题的收敛速度，从O(1/T)到O(1/T^2)，并在强凸问题中获得了线性收敛速度。

Jul, 2017

本研究提出了一种统一的单循环交替梯度投影(AGP)算法，用于解决光滑的非凸-（强）凹和（强）凸-非凹的极小-最大化问题，同时扩展了BAPG算法。证明该方法可在不同设置下找到目标函数的ε-稳定点，且其梯度复杂度被限制在O（ε^-2）或O（ε^-4）内。

Jun, 2020

本文提出了一种分布式优化的交替方向乘子法(ADMM)的近似变体，通过使用Moreau包络函数的分析，证明了该方法可以在温和条件下收敛到一个稳定点，并且经过数值实验表明它比广泛使用的方法更快、更健壮。

Aug, 2023

基于最近的无线搜索自适应近端梯度方法，本文提出了AdaPG^rπ框架，通过提供更大的步长策略和改进的下界，统一和扩展了现有的结果。讨论了参数π和r的不同选择，并通过数值模拟证明了所得方法的有效性。为了更好地理解基本理论，还建立了一个允许时变参数的更一般的收敛性设置。最后，通过探索对偶设置，提出了一种自适应交替最小化算法。这种算法不仅包含了额外的适应性，而且扩展了其适用性，超出了标准强凸设置。

Nov, 2023

该论文研究了解决凸凹极小极大问题的二阶算法，提出了不需要Lipschitz常数的Lipschitz-free cubic regularization (LF-CR)算法和没有任何问题参数的fully parameter-free cubic regularization (FF-CR)算法，并证明了它们的迭代复杂度。实验结果显示了两种算法的有效性。所提出的FF-CR算法是解决凸凹极小极大问题的首个完全无参数的二阶算法，且其迭代复杂度与现有带参数二阶算法的最优迭代复杂度下界相一致。

Jul, 2024