本文提出了增量 Newton 方法和梯度增长条件，通过实例研究，发现增量 Newton 方法需要满足梯度增长条件才能达到线性收敛率，进而得到了分布式优化方法的线性收敛率结果。

Oct, 2014

本文提出了一种更高效的准牛顿方法，它将对称秩 - 1 更新纳入增量框架中，从而得到了不依赖条件数的局部超线性收敛速率。此外，我们通过在 Hessian 近似上应用块更新来提升方法，以实现更快的局部收敛速率。数值实验表明，所提出的方法明显优于基准方法。

Feb, 2024

本论文提出了一种随机优化方法，该方法通过自适应地控制梯度近似计算中使用的样本量来减少方差，使用内积测试来决定增加样本量，并通过逻辑回归问题的数值实验验证了该算法的有效性。

Oct, 2017

本文论述了大规模优化问题中 Sub-sampling 的迭代算法，提供了 Hessian 和梯度子采样的收敛边界，使用随机数值线性代数来获得适当的采样策略，并为在大规模线性系统下近似更新的情况下的全局收敛结果提供了解决方案

Jan, 2016

该研究提出了一种算法，它结合了随机梯度下降的计算效率和拟牛顿法利用的二阶曲率信息，通过维护和操作每个贡献函数的独立 Hessian 近似值实现不同的方法的统一。该算法适用于高维度优化问题，通过将这些二次近似值存储和操作在一个共享的、时变的、低维度子空间中，保持了计算可行性和限制了内存需求，且需要很少或不需要调整超参数。该算法与早期的随机二阶技术相反，早期技术将每个贡献函数的 Hessian 视为完整 Hessian 的噪声近似，而不是直接估计的目标。在七个不同的优化问题上进行了实验性的改进收敛表现，算法已发布为开源 Python 和 MATLAB 软件包。

Nov, 2013

本文研究了通过子采样获得渐进和海森矩阵的近似解来解决随机优化问题，提出了利用这些近似的 Newton-like 方法，并讨论了如何协调渐进和海森矩阵的准确度，得到期望中的超线性收敛速度。该文第二部分分析了一种利用共轭梯度方法近似求解线性系统的不精确 Newton 方法，并且采样的是海森矩阵而不是梯度（梯度被认为是精确的）。我们提供了一种基于 CG 迭代和海森矩阵近似质量的复杂度分析，并将其与采用随机梯度迭代而不是 CG 方法的方法进行了比较。最后，我们报告了初步的数值结果，说明了在 logistic 回归的机器学习应用中，不精确子采样牛顿方法的表现。

Sep, 2016

在当今时代，计算机、计算和数据在科学研究和发现中的重要性不断增加。本论文主要关注梯度本身，解决非线性优化问题，并介绍了逆向微分的概念和应用，以及分段连续模型的使用案例。

May, 2024

本文研究了在大规模统计学环境中用于机器学习和信号处理的 Gauss-Newton 方法及其随机版本，以及它们的非光滑对应物 prox-linear 算法。该文在一个简化的统计学例子和结构化预测学习问题上，对这两类算法的对比表现进行了理论和实验研究，着重研究了在统计噪声下 modified Gauss-Newton 方法二次收敛的适用范围，并强调了随机梯度下降优化非光滑复合目标函数的多用途性。

May, 2023

通过加速梯度方法，改进小批量算法加速随机凸优化问题，提供新颖分析证明标准梯度法有时不足以获取大幅加速，提出一种新的加速梯度算法，解决了这个缺点，并在实践中表现良好。

Jun, 2011

本文研究了针对非强凸问题的梯度下降、均值梯度下降以及重球法等算法的加速，表明可以将这些算法重新表述为常数参数二阶差分方程算法，并提供了详细的稳定性分析和显式常数的稳定性结果。同时，本文还讨论了噪声梯度情况下的情况，并给出了一种新的算法。

Apr, 2015