本文提出了基于模型的方法，解决随机凸优化问题，并介绍了近似近端点（aProx）家族，包括随机次梯度、近端点和束方法。通过适当准确的建模方法，这些方法享有比传统方法更强的收敛性和鲁棒性保证，即使与随机次梯度方法相比，基于模型的方法通常增加很少甚至没有计算开销。

Oct, 2018

提出了一种多级方案来逐渐减少随机梯度方差的新的近端随机梯度方法，用于解决平滑组件函数的平均和简单近端映射的一般凸函数总和的极小化问题。

Mar, 2014

在有限和求和最小化的背景下，方差缩减技术被广泛应用于改进现有随机梯度方法的性能，本研究首次提出了针对随机近端点算法的方差缩减技术研究，介绍了针对平滑凸函数的 SVRG、SAGA 和其变种的随机近端版本，并且提供了迭代和目标函数值的多个收敛结果，特别对于满足 Polyak-Lojasiewicz 条件的情况下，我们获得了迭代和函数值的线性收敛速度，数值实验结果表明相对于梯度方法来说，近端方差缩减方法在选择步长方面具有更好的稳定性。

Aug, 2023

本文提出一族算法通过简单的随机模型样本和优化方法，成功的减少了目标函数。我们展示出，合理的近似质量和模型的正则性下，此类算法将自然的稳定度衡量推向 0，该衰减速度为 O (k^(-1/4))，基于此原理，我们为随机的近端子梯度法，近端次梯度法以及规则化的高斯牛顿法等提供了第一个复杂性保证。

Mar, 2018

基于正则化预期奖励优化问题，我们应用分析了经典的随机近端梯度方法，在标准条件下表明该方法在收敛到 ε- 稳定点的样本复杂度为 O (ε^{-4})。考虑到经典随机梯度估计器的方差通常较大，导致收敛速度变慢，我们还应用了一种高效的随机方差缩减近端梯度方法与基于重要性采样的概率梯度估计器 (PAGE)。我们的分析结果表明，在附加条件下，样本复杂度可以从 O (ε^{-4}) 提高到 O (ε^{-3})。在强化学习文献中的类似设置下，我们的结果与竞争对手的随机 (方差减小) 近端梯度方法的样本复杂度相匹配。

Jan, 2024

本文基于凸优化中函数是光滑和非光滑组合的形式，证明了一种适用于大类凸优化问题的随机近端梯度算法收敛性质，其避免了平均化和理论研究中常见但实际中不一定满足的有界性假设，证明了一系列强、弱收敛性结果，并得到了期望意义下的 $O (1/n)$ 的有界性结果。

Mar, 2014

本文回顾了近端点法在大规模优化中的作用，并重点介绍了三个最新的例子：用于弱凸随机逼近的近端指导次梯度法，用于最小化凸函数和平滑映射组合的近端线性算法以及用于正则化经验风险最小化的 Catalyst 通用加速。

Dec, 2017

提出了一种新的混合方差缩减近端梯度法，它使用随机梯度评估来代替早期方法中的 $SARAH$，从而实现每次迭代少使用一个随机梯度，在达到了随机梯度评估的最优随机预测复杂度界限的同时很简单。

Aug, 2020

本文提出了一种新的随机组合减少方差的梯度算法来解决现有算法在算法设计中忽略凸性结构而导致的样本复杂度和实践问题，实验结果表明了该算法的有效性和效率。

Jun, 2018

我们提出了一种基于随机方差减少优化算法的稀疏学习问题求解方法，该方法在满足一定条件下具有线性收敛保证和高维度下的最优估计精度。我们进一步将该算法扩展到一种异步并行版本，具有近似线性加速。数值实验表明，我们的算法在参数估计和计算性能方面都具有高效性。

May, 2016