我们提出了一种名为 Stochastic Multiple Target Sampling Gradient Descent (MT-SGD) 的方法，用于从多个未归一化的目标分布中进行采样。通过逐渐调整中间分布的流向多个目标分布，使采样粒子向目标分布的联合高似然区域移动，此方法在多目标优化问题上获得了良好的表现。

Jun, 2022

CheapSVRG is proposed as a new stochastic variance-reduction optimization scheme which achieves a linear convergence rate through a surrogate computation while also balancing computational complexity.

Mar, 2016

本研究提出了两种基于随机梯度下降的算法 (即随机样本平均梯度 (SSAG) 和随机 SAGA (S-SAGA))，以解决使用随机噪声来影响数据集时的期望风险最小化问题，其中 SSAG 收敛速度比 SGD 快，而 S-SAGA 在迭代复杂度和存储方面均优于 S-MISO，并且 SSAG 的存储成本不依赖样本大小，而 S-SAGA 的存储成本与未被扰动的数据上的方差降低方法相同。

Jun, 2018

本研究分析了现有采样方法中存在的方差问题，提出了一种基于梯度信息和嵌入逼近的解耦合方差缩减策略，该方法即使在更小的批量尺寸下也具有更快的收敛速度和更好的泛化效果。

Jun, 2020

本论文提出了一种随机优化方法，该方法通过自适应地控制梯度近似计算中使用的样本量来减少方差，使用内积测试来决定增加样本量，并通过逻辑回归问题的数值实验验证了该算法的有效性。

Oct, 2017

本文提出了一种基于分层抽样策略的随机梯度下降算法，可显著改进收敛速度并在实验中得到验证。

May, 2014

该研究提出一种分布式深度学习框架，其中一组工作者并行搜索最具信息性的示例，而单个工作者则使用重要性抽样方法更新模型。实验证明，当采样提议与梯度的 L2 范数成正比时，该方法可以减少梯度方差，即使在跨机器同步成本不可忽略且重要性抽样因子不会立即更新的情况下也是如此。

Nov, 2015

本文考虑了最小二乘回归问题，提出了平均恒定步长随机梯度下降（也称最小均方误差）的性能的详细渐近分析。在强凸情况下，我们提供了一个高度渐近展开式。我们的分析提供了对随机逼近算法的新见解。

Nov, 2014

该综述对有限数据集的优化中方差缩减方法的主要原理和主要发展进行了概述，重点在于凸设定，并留下指向感兴趣的读者的指针。

Oct, 2020

本文提出了一种新的稀疏操作符：随机 Top-k 操作符，用于估计梯度稀疏性，将其与随机化坐标下降操作符结合，可降低 SVRG 和 SpiderBoost 方法的计算复杂度。实验证明该方法在各种模型和任务中的表现优于 SpiderBoost。

Jan, 2020