本文研究了通过子采样获得渐进和海森矩阵的近似解来解决随机优化问题，提出了利用这些近似的 Newton-like 方法，并讨论了如何协调渐进和海森矩阵的准确度，得到期望中的超线性收敛速度。该文第二部分分析了一种利用共轭梯度方法近似求解线性系统的不精确 Newton 方法，并且采样的是海森矩阵而不是梯度（梯度被认为是精确的）。我们提供了一种基于 CG 迭代和海森矩阵近似质量的复杂度分析，并将其与采用随机梯度迭代而不是 CG 方法的方法进行了比较。最后，我们报告了初步的数值结果，说明了在 logistic 回归的机器学习应用中，不精确子采样牛顿方法的表现。

Sep, 2016

本文论述了大规模优化问题中 Sub-sampling 的迭代算法，提供了 Hessian 和梯度子采样的收敛边界，使用随机数值线性代数来获得适当的采样策略，并为在大规模线性系统下近似更新的情况下的全局收敛结果提供了解决方案

Jan, 2016

本文研究了在大规模统计学环境中用于机器学习和信号处理的 Gauss-Newton 方法及其随机版本，以及它们的非光滑对应物 prox-linear 算法。该文在一个简化的统计学例子和结构化预测学习问题上，对这两类算法的对比表现进行了理论和实验研究，着重研究了在统计噪声下 modified Gauss-Newton 方法二次收敛的适用范围，并强调了随机梯度下降优化非光滑复合目标函数的多用途性。

May, 2023

考虑使用面向低秩分解的凸函数 F (w) 最小化问题，提出一种基于不均匀子采样和不精确更新的随机牛顿型算法来降低计算复杂度，研究了两个基于块范数平方和块部分杠杆分数的非均匀采样分布，理论和实验都表明此类算法具有线性 - 二次收敛率，相较于现有方法，具有更低的计算复杂度和更好的计算鲁棒性。

Jul, 2016

本文介绍了一种新的 Gram-Gauss-Newton (GGN) 算法用于训练使用方形损失函数的深度神经网络，并借鉴了神经切线核（NTK）的想法。与典型的二阶方法相比，GGN 在每次迭代中只有小的开销。本文还给出了理论结果，证明对于足够广的神经网络，GGN 的收敛速度是二次的。此外，我们还提供了 mini-batch GGN 算法的收敛保证，这是我们知道的第一个关于超参数神经网络 mini-batch 版本的二阶方法的收敛结果。初步的实验表明，对于训练常规网络，我们的 GGN 算法比 SGD 收敛速度更快，性能更好。

May, 2019

考虑到大型数据的拟合应用中需要解决高维参数的大量函数之和的优化问题，本文运用子采样的方式以提高计算效率，并分析了牛顿方法中的 Hessian 矩阵和梯度的子采样对收敛速度的影响。

Jan, 2016

本文提出了两种采样拟牛顿法（采样 LBFGS 和采样 LSR1），并为其提供了收敛保证。这些方法能有效地解决在机器学习中出现的经验风险最小化问题，通过对当前迭代中的随机采样点来产生黑塞或黑塞逆近似，避免了过时信息的影响，并具备在分布式计算中运行的并发能力。在二分类问题和神经网络训练任务上的数值实验结果表明，这些方法优于其经典版本。

Jan, 2019

本文首次分析了自然梯度下降在非线性神经网络中的收敛速度，发现若序列导数矩阵显满秩且在初始化附近稳定，则该方法在随机初始化时就能快速收敛。对于深度 ReLU 神经网络，作者在过度参数化及输入非退化的条件下论证了这两个条件在训练期间均得以保持，并将分析拓展到其他损失函数，同时说明使用 K-FAC 近似方法也能在相同条件下达到全局最小值。

May, 2019

本研究提出了一种基于亚梯度方法和快速增量 SVD 更新的矩阵优化模型，通过使用高效的并行线性代数操作，执行廉价迭代，保持低秩因子分解迭代，因此在矩阵完成设置中生成预测时非常有效。

Jun, 2012

本文研究了在解决变量数量和数据点数量都很大的有限和最优化问题的 Newton 法的背景下，两种数据空间维数缩减方法：Hessian 子采样和随机 Hadamard 变换。通过一系列数字实验和 Hessian 子采样方法的复杂性分析，揭示了使用共轭梯度方法相对于随机梯度迭代方法的优势。

May, 2017