考虑到大型数据的拟合应用中需要解决高维参数的大量函数之和的优化问题，本文运用子采样的方式以提高计算效率，并分析了牛顿方法中的 Hessian 矩阵和梯度的子采样对收敛速度的影响。

Jan, 2016

本文研究了通过子采样获得渐进和海森矩阵的近似解来解决随机优化问题，提出了利用这些近似的 Newton-like 方法，并讨论了如何协调渐进和海森矩阵的准确度，得到期望中的超线性收敛速度。该文第二部分分析了一种利用共轭梯度方法近似求解线性系统的不精确 Newton 方法，并且采样的是海森矩阵而不是梯度（梯度被认为是精确的）。我们提供了一种基于 CG 迭代和海森矩阵近似质量的复杂度分析，并将其与采用随机梯度迭代而不是 CG 方法的方法进行了比较。最后，我们报告了初步的数值结果，说明了在 logistic 回归的机器学习应用中，不精确子采样牛顿方法的表现。

Sep, 2016

本文提出了一种结合子抽样技术与低秩逼近，收敛速度可与牛顿法相媲美但迭代成本较小的随机批量算法，且具有较强的鲁棒性和复合收敛速度，同时也能用于先前被提出的子抽样算法，并且应用于多个著名机器学习问题的数据集上，具有更好的效果。

Aug, 2015

本文研究了在解决变量数量和数据点数量都很大的有限和最优化问题的 Newton 法的背景下，两种数据空间维数缩减方法：Hessian 子采样和随机 Hadamard 变换。通过一系列数字实验和 Hessian 子采样方法的复杂性分析，揭示了使用共轭梯度方法相对于随机梯度迭代方法的优势。

May, 2017

考虑使用面向低秩分解的凸函数 F (w) 最小化问题，提出一种基于不均匀子采样和不精确更新的随机牛顿型算法来降低计算复杂度，研究了两个基于块范数平方和块部分杠杆分数的非均匀采样分布，理论和实验都表明此类算法具有线性 - 二次收敛率，相较于现有方法，具有更低的计算复杂度和更好的计算鲁棒性。

Jul, 2016

提出了非凸问题的近似解决方案；采用了三次正则化和信任域算法的不精确变体，并且可以应用于有限和问题，通过随机子采样法对梯度和 Hessian 进行适当精度逼近，实现了计算效率与最优迭代复杂度的权衡。

Feb, 2018

本文提出一种基于子采样的方法，以降低 cubic regularization 方法的高计算复杂度，并利用浓度不等式提出相应的采样方案，从而在保证 cubic regularization 方法的全局和局部收敛性的同时，给出其全局收敛保证的首个子采样变体在非凸函数的设置中的实验证明。

May, 2017

使用 Levenberg-Marquardt 的 Gauss-Newton 和自然梯度方法，解决深度神经网络大量变量和海量数据集所产生的非凸优化问题，证明方法能够有效实现并提出数值结果。

Jun, 2019

使用随机化技术推导出半定规划的随机梯度算法，通过采用子采样来降低每次迭代的计算成本，从而控制迭代的代价和总迭代次数的平衡，算法的复杂度与解决方案的复杂度成正比，该算法在统计学习的某些大规模问题上表现良好。

Mar, 2008

本文介绍了一种基于自适应样本大小的拟牛顿方法，在大数据集上求解经验风险最小化问题中，全局收敛速度明显优于一阶方法，并可快速地解决子问题。

Jun, 2021