该研究使用 Barzilai-Borwein 方法自动计算 Stochastic Gradient Descent（SGD）和 Stochastic Variance Reduced Gradient（SVRG）算法的步长，证明了 SVRG-BB 在强凸目标函数上线性收敛的结果，并在标准数据集上进行了数字实验，得出了 SGD-BB 和 SVRG-BB 相对于 SGD 和 SVRG 在性能上更好的结论。

May, 2016

该研究使用改进的 SVRG 算法创新性地找到一个非凸函数的二阶稳定点，并提出了使用稳定性 SVRG 算法的方法。

May, 2019

本研究分析了随机变量缩减梯度（SVRG）方法在非凸有限和问题中的应用，证明了其比随机梯度下降（SGD）和梯度下降（GD）更快收敛于固定点，并分析了一类 SVRG 在解决非凸问题上的线性收敛，同时研究了 mini-batch 变体的 SVRG 在并行设置中加速的外延。

Mar, 2016

本文介绍了两种零阶随机算法的优化和改进，其中一种通过新的 ZO-SVRG-Coord-Rand 算法和分析结果发现，比现有的同类算法以及 ZO-GD 和 ZO-SGD 更为优秀，另一种通过新的 ZO-SPIDER-Coord 算法有效降低了 Gaussian 随机变量的数量和步长的级别以实现相同的收敛速度和查询复杂度，并且自动实现了线性收敛率。

Oct, 2019

我们提出了一种基于嵌套方差降低的新随机梯度下降算法，可用于解决有限个数个、非凸函数的优化问题，并且在平滑非凸函数上具有比现有算法更好的梯度复杂度。

Jun, 2018

本文提出一种基于随机投影与有限阶多项式拓展计算奇异值分解嵌入的压缩光谱嵌入算法，其降维效果与计算复杂度不受特征向量数量影响。此算法对聚类和分类等下游推断任务的对比相似度度量具有较好效果。

Sep, 2015

本文提出一种基于变量规约的 Proximal 随机梯度下降算法 (ProxSVRG+), 该算法在非凸性和非光滑性优化问题上具有更好的性能，并在收敛性分析方面比之前的算法更加全面和普适性更强。

Feb, 2018

CheapSVRG is proposed as a new stochastic variance-reduction optimization scheme which achieves a linear convergence rate through a surrogate computation while also balancing computational complexity.

Mar, 2016

该论文介绍了一种新颖的快速机器学习方法，利用了两种技术：正交基向量嵌入（VEOB）和谱变换（ST）。该方法通过将原始数据编码转换为在正交基向量上投影的向量嵌入，采用奇异值分解（SVD）技术计算向量基和投影坐标，从而在嵌入空间中实现了增强的距离测量，并通过保留与最大奇异值相关的投影向量来实现数据压缩。同时，它还利用离散余弦变换（DCT）将向量数据序列转换到谱空间，并选择最重要的分量，以简化对于长向量序列的处理。该论文提供了使用这种方法在 Julia 语言中实现的词嵌入、文本块嵌入和图像嵌入的示例，并探讨了使用该方法进行无监督学习和监督学习的策略，以及如何处理大数据量。

Oct, 2023

本文研究了具有 n 个客户机的有限和分布式优化问题，针对流行的 δ- 相似性条件和 μ- 强凸性，提出了 SVRS 和 AccSVRS 两种新算法，其通信复杂度分别为 O (n+√(nδ/μ) ) 和 O (n+ n^(3/4)√(δ/μ) )，并显示了接近匹配的下界以验证其紧密性。

Apr, 2023