研究如何动态增加有效样本大小，以在较小样本量情况下利用低方差的算法达到统计准确性，其中包括了机器学习、随机梯度下降、方差缩减方法等关键词。

Mar, 2016

本文提出了一种基于 Heuristic 和 Bandit 反馈的在线优化算法，可以寻找一种重要性采样分布序列，竞争力可以与后见之明得到的最佳固定分布相媲美，并在实验验证中证明了该算法在多个数据集和设置下有效的优点。

Feb, 2018

使用随机化技术推导出半定规划的随机梯度算法，通过采用子采样来降低每次迭代的计算成本，从而控制迭代的代价和总迭代次数的平衡，算法的复杂度与解决方案的复杂度成正比，该算法在统计学习的某些大规模问题上表现良好。

Mar, 2008

本文提出了针对复合目标强凸的情况下，带有方差约束的随机梯度下降法，其收敛速度优于传统的随机梯度下降法，同时常数因子也更小，只与输入数据的方差有关。

Oct, 2016

该研究提出了一种随机近端点方法来解决随机凸复合优化问题，通过仅假设随机梯度的方差有界等较弱条件，建立了对于该方法收敛的高概率保证的低样本复杂度。此外，本研究的一个显著特点是开发了一个用于解决近端子问题的子程序，该子程序还作为一种新的方差减小技术。

Feb, 2024

本文研究了随机优化程序在非光滑凸优化问题中的收敛速度，与加速梯度方法相结合的随机平滑技术获得了期望和高概率的收敛速度，具有梯度估计方差的最优依赖性，这是首个针对非光滑优化问题的这种速率。作者给出了几个关于统计估计问题的应用，并提供了实验结果来证明所提算法的有效性。作者还描述了如何将他们的算法与最近研究的分布式优化结合起来，得到一个最优秩序的分布式随机优化算法。

Mar, 2011

本文提出一种基于随机零阶梯度与方差降低的高斯平滑的新型方法，用于优化非凸函数，特别是深度神经网络的黑盒攻击问题，并在实验中证明了其比现有的导数 - free 优化技术表现更优。

May, 2018

该研究介绍了一种名为 SCSG 的自适应算法，通过批量方差降低和几何随机变量技术，该算法对强凸性和目标精度具有适应性，实现了比其他已有适应性算法更好的理论复杂度。

Apr, 2019

本文介绍了一种结构化数据拟合应用的优化问题的混合方法，同时具有增量梯度算法的高效迭代和完全梯度算法的稳定收敛性，基于这种方法提出了一个实用的拟牛顿算法实现，并通过数值实验证明了其潜在优势。

Apr, 2011

介绍了一种框架，用于解决凸随机极小化问题，其中目标函数变化缓慢，通过应用选择的优化算法，例如随机梯度下降（SGD），来顺序地解决极小化问题。有两种跟踪标准来评估近似极小值的质量，一种是基于对均值轨迹的准确性，另一种是基于高概率的准确性。提供了估计极小值变化的技术，以及分析结果表明最终估计会上限极小值的变化。这个估计量提供了样本量选择规则，保证了足够的时间步长使跟踪标准得到满足。实验表明，该估计方法在实践中提供了所需的跟踪精度，同时在每个时间步中使用的样本数量方面是高效的。

Oct, 2016