该研究提出了一种随机化的二阶优化方法 ——Newton Sketch，使用随机投影或子采样 Hessian 实现近似牛顿步。对于自共轭函数，该算法证明具有超线性收敛和指数高概率，与条件数和相关问题独立的收敛和复杂度保证。对于适当的初始化，即使在没有自共轭的情况下，也可以保证类似的保证对于强凸和光滑的目标。我们还描述了将我们的方法扩展到具有自共轭屏障的凸约束程序。我们讨论和说明了其应用于线性程序，带有凸约束的二次程序，逻辑回归和其他广义线性模型以及半定规划的扩展问题。

May, 2015

本文研究了基于 Hessian 矩阵近似的非凸优化中信任域和立方正则化方法的变体。通过对不精确 Hessian 矩阵的渐进解和相应子问题的近似解，提供了迭代复杂度，以实现达到二阶最优条件的近似解，并且在现有文献中条件松弛。

Aug, 2017

提出了非凸问题的近似解决方案；采用了三次正则化和信任域算法的不精确变体，并且可以应用于有限和问题，通过随机子采样法对梯度和 Hessian 进行适当精度逼近，实现了计算效率与最优迭代复杂度的权衡。

Feb, 2018

该研究广义化了牛顿型方法以处理光滑函数的最小化，特别是一个包含简单近端映射的凸函数和一个非光滑函数的总和，在此基础上提出了近端牛顿型方法。研究表明，该方法即使在计算搜索方向不精确时，也能继承用于最小化光滑函数的牛顿型方法的理想收敛性质。该方法是许多针对生物信息学、信号处理和统计学习等问题量身定制的流行方法的特例，并且分析结果为其中一些方法提供了新的收敛结果。

Jun, 2012

证明了牛顿法对于具有稳定 Hessians 的目标函数具有全局收敛的线性速度，在这一类问题中包括了许多不是强凸的函数，如逻辑回归，相比于仅在类似条件下实现次线性 $O（1/t^2）$ 收敛率的一阶方法，我们的线性收敛结果是（i）仿射不变的，即使使用（ii）近似海森和（iii）仅近似解决子问题。

Jun, 2018

采用拉格朗日松弛技术，将不可解的估计问题重新定义为更可处理的图上问题，通过相应约束的松弛最大化优化问题，并应用于离散和高斯图模型的 MAP 估计及优化问题中。

Sep, 2007

本文提出了一种快速的二阶优化算法 SPAN, 通过低秩逼近和随机海森向量相乘的方式来计算黑塞矩阵的逆，实验结果证明 SPAN 在多个基准数据集上优于现有的一阶和二阶优化算法，同时提供了每次迭代的复杂度、逼近误差和收敛速度的理论分析，表明 SPAN 在收敛速度和每次迭代效率之间取得了更好的平衡。

Feb, 2020

通过采用简单的 Hessian 初始化和自适应训练区域分配，本论文介绍了一种名为 RANL 的新颖高效算法，该算法克服了 Newton 方法在大规模和异构学习环境中的限制，展现了出色的收敛性能，有效地适应可用资源并保持高效率，使其成为实际场景中的分布式随机优化的有希望的方法。

Aug, 2023

本文提出了增量 Newton 方法和梯度增长条件，通过实例研究，发现增量 Newton 方法需要满足梯度增长条件才能达到线性收敛率，进而得到了分布式优化方法的线性收敛率结果。

Oct, 2014

研究了带有准自共轭平滑成分的复合凸优化问题，通过使用基本的牛顿法结合梯度正则化，提出了一种简单而高效的算法，并应用于多个实际问题，包括逻辑回归、软最大和矩阵缩放，无需对目标函数进行额外的假设，并且获得了快速全局线性收敛率。

Aug, 2023