提出了非凸问题的近似解决方案；采用了三次正则化和信任域算法的不精确变体，并且可以应用于有限和问题，通过随机子采样法对梯度和 Hessian 进行适当精度逼近，实现了计算效率与最优迭代复杂度的权衡。

Feb, 2018

本文提出一种基于子采样的方法，以降低 cubic regularization 方法的高计算复杂度，并利用浓度不等式提出相应的采样方案，从而在保证 cubic regularization 方法的全局和局部收敛性的同时，给出其全局收敛保证的首个子采样变体在非凸函数的设置中的实验证明。

May, 2017

通过使用随机 TR 和 ARC 方法，我们可以在同时提供 Hessian 矩阵、梯度和函数值的不精确计算的基础上，减少每次迭代的传播开销，从而获得与之前研究中的准确计算同级别的迭代复杂度以实现近似二阶最优性，并通过有限和最小化问题中的随机采样技术满足不精确性的温和条件。数值实验支持这些发现，并表明我们的算法在进行相同或相似次数的迭代时，每次迭代所需的计算开销较当前的二阶方法更少。

Oct, 2023

非凸函数的最小化，利用近似正负曲率方向步长，相对不精确度度量梯度和 Hessian 矩阵，松弛一阶和二阶精度的耦合，通过马丁格尔分析和浓度不等式得到收敛性分析，并将算法应用于经验风险最小化问题。

Oct, 2023

我们开发了 Cubically regularized Newton 方法的一阶 (无 Hessian 矩阵) 和零阶 (无导数) 的实现，用于解决一般的非凸优化问题，通过有限差分逼近导数。我们在算法中使用了一种特殊的自适应搜索过程，同时适应正则化常数和有限差分逼近的参数。此方法不需要知道实际的 Lipschitz 常数。此外，我们还为算法增加了惰性 Hessian 更新，重复使用之前计算的 Hessian 近似矩阵进行多个迭代。具体地，我们证明了新的一阶 Hessian-free 方法的全局复杂度界为 O (n^1/2 * ε^-3/2) 个函数和梯度评估，并且零阶无导数方法的函数评估复杂度界为 O (n^3/2 * ε^-3/2)，其中 n 是问题的维度，ε 是梯度范数的期望精度。这些复杂度界显著提高了关于 n 和 ε 的联合依赖的先前已知界，用于一阶和零阶非凸优化。

Sep, 2023

提出了随机方差约减的立方正则牛顿法，应用于非凸优化问题。该方法在半随机梯度和半随机海森矩阵的基础上工作，具有较低的复杂度，并在各种非凸优化问题上得到了验证。

Feb, 2018

本文提出了一个随机变体的经典算法 -- 立方正则化牛顿方法。该算法可以有效地避免鞍点问题，并在仅需要 $\mathcal {\tilde {O}}(\epsilon^{-3.5})$ 个随机梯度和随机海森向量乘积评估的情况下，为一般光滑的非凸函数找到近似的局部极小值。

Nov, 2017

本文介绍了一种应用于非凸优化的三次正则化牛顿法，并提出了自适应方差调整的方案，通过对随机矩阵的三到四阶矩的分析来实现二阶保证，进而降低黑塞矩阵样本的复杂度。

Nov, 2018

本文研究了通过子采样获得渐进和海森矩阵的近似解来解决随机优化问题，提出了利用这些近似的 Newton-like 方法，并讨论了如何协调渐进和海森矩阵的准确度，得到期望中的超线性收敛速度。该文第二部分分析了一种利用共轭梯度方法近似求解线性系统的不精确 Newton 方法，并且采样的是海森矩阵而不是梯度（梯度被认为是精确的）。我们提供了一种基于 CG 迭代和海森矩阵近似质量的复杂度分析，并将其与采用随机梯度迭代而不是 CG 方法的方法进行了比较。最后，我们报告了初步的数值结果，说明了在 logistic 回归的机器学习应用中，不精确子采样牛顿方法的表现。

Sep, 2016

本文研究了立方正则化牛顿法在解决具有一致凸性目标的复合最小化问题时的迭代复杂度。在引入某种程度的二阶条件数的概念后，我们证明了在非退化情况下具有自适应正则化参数估计的方法具有线性收敛率。我们的算法自动实现了具有 H"older 连续的目标平滑部分的不同问题类别中均匀凸目标函数的全局最佳复杂度界限。作为我们发展的副产品，我们证明了牛顿法在具有一致有界二阶导数的强凸函数类上的全局迭代复杂度始终优于梯度法。

May, 2019