随机变量度量近端梯度算法及方差约减在非凸复合优化中的应用

Jan, 2023

Stochastic Variable Metric Proximal Gradient with variance reduction for non-convex composite optimization

Gersende Fort, Eric Moulines

TL;DR提出了 Perturbed Proximal Preconditioned SPIDER (3P-SPIDER) 算法，适用于解决有限和非凸复合优化问题，是随机变量度量前向 - 后向算法，提出了迷你批处理策略以减少方差并控制收敛，并通过逻辑回归模型的推理应用进行了数值比较。

Abstract

This paper introduces a novel algorithm, the Perturbed Proximal preconditioned SPIDER algorithm (3P-SPIDER), designed to solve finite sum

发现论文，激发创造

本文提出了 SpiderBoost 算法，扩展了 SPIDER 并克服了其在实践中收敛速度慢以及处理涉及非光滑正则化器的目标函数的缺点，可以通过使用 Proximal Mapping 处理复合优化，并利用动量方案实现了理论上的近乎最优巨大 Oracle 复杂度和实验结果的实质性改善。

Oct, 2018

本文提出了一种称为 SPIDER 的新技术，它可以用于显著降低计算成本跟踪许多确定性感兴趣数量，我们将 SPIDER 应用于两项任务，即随机一阶和零阶方法。

Jul, 2018

本文提出了一种基于 SPIDER 梯度估计器的分布式算法，可用于处理随机的平滑、非凸优化问题，该算法结合了最优化方差减少技术与并行 SGD 算法，优化了可以用于联邦学习的非相同分布的数据的模型，提出的算法具有最优迭代复杂度复杂度，并实现了与现有方法相同的线性加速。

Dec, 2019

提出一种分散化版本的 SPIDER-SFO 算法（D-SPIDER-SFO），该算法在解决非凸优化问题时具有与其集中化版本相似的计算复杂度，达到了解决分散化网络中非凸优化问题的最先进水平，具有非常高的效率。

Nov, 2019

提出一种新方法解决一类复合随机非凸优化问题，通过组合两种随机估计量形成混合估计量，将之应用于多种变体的随机梯度法中以达到最优的复杂度界限。

Jul, 2019

本文提出了一种基于随机复合梯度法和增量方差缩减估计器的方法来最小化非凸函数的期望值和有限和，尽管丧失了复合梯度估计器的无偏性，但该方法达到了最佳已知一阶方法的复杂度，扩大了增量方差缩减方法在机器学习中的应用范围。

Jun, 2019

本文提出了一个基于 SPIDER 的更快的用于非凸优化的随机交替方向乘法方法（SPIDER-ADMM），证明了 SPIDER-ADMM 能够实现记录性的增量一阶 Oracle 复杂度，并且扩展了 SPIDER-ADMM 到在线设置，并提出了更快的在线 SPIDER-ADMM。

Aug, 2020

提出了一种多级方案来逐渐减少随机梯度方差的新的近端随机梯度方法，用于解决平滑组件函数的平均和简单近端映射的一般凸函数总和的极小化问题。

Mar, 2014

提出了一种新的混合方差缩减近端梯度法，它使用随机梯度评估来代替早期方法中的 $SARAH$，从而实现每次迭代少使用一个随机梯度，在达到了随机梯度评估的最优随机预测复杂度界限的同时很简单。

Aug, 2020

该论文提出了一种随机梯度下降算法（RSPG）来解决一类包含非可微凸函数和非光滑性质的随机优化问题，并且证明了该算法的收敛速度。

Aug, 2013