高维线性分类的特征分布式 SVRG
该论文提出了一种两阶段松弛贪心算法（TSRGA），用于对特征分布数据应用多元线性回归分析。TSRGA 的主要优势是其通信复杂度不依赖于特征维度，使其能够高度扩展到非常大的数据集。此外，对于多元响应变量，TSRGA 可以用于得到低秩系数估计。通过模拟实验验证了 TSRGA 的快速收敛性。最后，我们将所提出的 TSRGA 应用于金融应用中，利用来自 10-K 报告的非结构化数据，展示了其在密集大维矩阵的众多应用中的实用性。
Jul, 2023
CheapSVRG is proposed as a new stochastic variance-reduction optimization scheme which achieves a linear convergence rate through a surrogate computation while also balancing computational complexity.
Mar, 2016
本文提出了 Stochastic Variance-Reduced Gradient 方法的两种变体应用于 Policy Evaluation，可以显著减少梯度计算次数，同时保持线性收敛速度，理论分析表明这些方法不需要在每次迭代中使用整个数据集，仅需用于线性函数逼近问题，实验结果展示了这种方法带来的大量计算节省。
Jun, 2019
本文提出了一种基于 Nesterov 的动量和增长 epoch size 技术设计的快速随机方差缩减梯度（FSVRG）方法，其具有较低的复杂度和强的收敛性，可以直接解决具有非平滑组件函数的问题，并在解决 logistic 回归，岭回归，套索和 SVM 等各种机器学习问题中优于 Katysha 方法。
Mar, 2017
本文提出了一种名为 VR-SGD 的变体随机梯度下降法，其使用平均值和上一个时期的最后迭代作为两个向量，能够直接解决非光滑和 / 或非强凸问题，并能够使用更大的学习率。此方法在解决各种机器学习问题，如凸和非凸的经验风险最小化以及特征值计算等方面，具有更快的收敛速度。
Feb, 2018
本文提出了一种名为 Distributed Stein Variational Gradient Descent （DSVGD）的非参数广义贝叶斯推理框架，旨在通过维护中央服务器上的多个非随机交互粒子来最小化全局自由能，达到在通信负载和通信轮数方面的灵活权衡，并比较频率学派和贝叶斯联合学习策略，在精确度和可伸缩性方面表现出众，同时提供良好的校准性和可信度的预测。
Sep, 2020
本文提出一种名为 GTVR 的随机分散算法框架，其基于本地方差缩减和全局梯度跟踪的技术，用于解决大规模，有可能无法集中处理私有数据的优化问题。我们在本文中重点研究了 GTVR 并介绍了两种算法 GT-SAGA 和 GT-SVRG，证明它们在解决光滑问题上呈现出线性收敛，并实现了在网络独立下的线性速度提升。
Dec, 2019
本文介绍了多种提高随机方差减小梯度方法性能的策略，包括使用递减误差控制变量、使用递增批处理策略以及利用支撑向量减少计算。此外，本文还考虑了不同小批量选择策略和该方法的泛化误差问题。
Nov, 2015
本研究提出了一种名为 Grassmann Stein 变分梯度下降 (GSVGD) 的新概念，用于处理维度高的目标分布问题，具备在高维空间中探索低维结构等特性。GSVGD 方法与其他变体方法相比，更新打分函数和数据的投影器并通过一种耦合的 Grassmann 值扩散进程确定最优投影器。理论和实验结果表明，GSVGD 在高维问题中具有高效的状态空间探索能力。
Feb, 2022