本文提出了一种称为 SPIDER 的新技术，它可以用于显著降低计算成本跟踪许多确定性感兴趣数量，我们将 SPIDER 应用于两项任务，即随机一阶和零阶方法。

Jul, 2018

本文提出一种新的随机交替方向乘子法（ADMM）算法，其在线性化 ADMM 公式上逐步逼近全梯度。实验证明，该算法在凸优化问题上的收敛速度得到提高，速度显著快于现有的随机和批量 ADMM 算法。

Aug, 2013

本文提出了一种基于坐标平滑梯度估计器的快速零阶随机 ADMM 方法（即 ZO-SVRG-ADMM 和 ZO-SAGA-ADMM），用于解决具有多个非光滑惩罚的非凸问题，证明了这两种方法的收敛速率为 $O（1 / T）$，可以有效地解决许多复杂的机器学习问题。

May, 2019

本文提出了一种基于 SPIDER 梯度估计器的分布式算法，可用于处理随机的平滑、非凸优化问题，该算法结合了最优化方差减少技术与并行 SGD 算法，优化了可以用于联邦学习的非相同分布的数据的模型，提出的算法具有最优迭代复杂度复杂度，并实现了与现有方法相同的线性加速。

Dec, 2019

提出一种分散化版本的 SPIDER-SFO 算法（D-SPIDER-SFO），该算法在解决非凸优化问题时具有与其集中化版本相似的计算复杂度，达到了解决分散化网络中非凸优化问题的最先进水平，具有非常高的效率。

Nov, 2019

本文提出了 SpiderBoost 算法，扩展了 SPIDER 并克服了其在实践中收敛速度慢以及处理涉及非光滑正则化器的目标函数的缺点，可以通过使用 Proximal Mapping 处理复合优化，并利用动量方案实现了理论上的近乎最优巨大 Oracle 复杂度和实验结果的实质性改善。

Oct, 2018

本文介绍了基于不同减小方差的随机梯度的三种非凸随机交替方向乘子方法，包括 SVRG-ADMM、SAG-ADMM 和 SAGA-ADMM，并通过一些温和的条件建立了这些方法的迭代复杂度界限为 O (1/ε)，最后通过数值实验证明了方法的有效性。

Oct, 2016

本文针对图像科学中广泛使用的一类优化问题，基于 ADMM 算法，通过使用通用的双重步长方法、构建特殊的潜函数以及采用简单的初始化策略实现了非凸优化问题全局收敛和解决，并在实际应用中进行了比较实验，表明最优化效果良好。

Jun, 2015

本文提出了一种新的针对大规模优化和学习问题的方法，称为可扩展随机 ADMM (SCAS-ADMM)，可以在不需要存储历史梯度的情况下，在一般凸问题上达到与最佳随机方法 SA-ADMM 和批处理 ADMM 相同的收敛速度。实验结果表明，SCAS-ADMM 能够在实际应用中达到最先进的性能。

Feb, 2015

本研究提出了一种自适应调节罚项参数的方法，使得交替方向乘子法 (ADMM) 得以快速收敛，从而提高了其可靠性和自动化水平。结果表明，这种自适应 ADMM (AADMM) 算法可以相对缓解 ADMM 算法在惩罚因子调节方面存在的问题，并同时保持收敛速度较快。

May, 2016