该研究提出了一种算法，它结合了随机梯度下降的计算效率和拟牛顿法利用的二阶曲率信息，通过维护和操作每个贡献函数的独立 Hessian 近似值实现不同的方法的统一。该算法适用于高维度优化问题，通过将这些二次近似值存储和操作在一个共享的、时变的、低维度子空间中，保持了计算可行性和限制了内存需求，且需要很少或不需要调整超参数。该算法与早期的随机二阶技术相反，早期技术将每个贡献函数的 Hessian 视为完整 Hessian 的噪声近似，而不是直接估计的目标。在七个不同的优化问题上进行了实验性的改进收敛表现，算法已发布为开源 Python 和 MATLAB 软件包。

Nov, 2013

本文介绍一种修改了牛顿法更新方式的二阶方法，通过替换海森矩阵的负特征值为绝对值，并使用其截断版本来考虑目标的曲率，以获得比随机梯度下降更快的局部最小值收敛速度。

Jul, 2017

本文提出了一个基于二阶数值优化的深度学习算法。该算法使用复合数算法流的有限差分（CDSD）计算海森矩阵，通过监控泰勒级数的逼近误差，调整步长大小，实现了优化的同时保存良好的局部和全局收敛性，在深度学习任务中表现优异。

Sep, 2020

本研究论文介绍了一种基于梯度的优化方法，并提出了一个计算上廉价的技术，用于获得有关张量之间交互关系的二阶信息。使用这种技术，构建了适用于各种深度神经网络结构的二阶优化方法，避免了计算 Hessian 矩阵和其近似的复杂性，并改善了现有的对角线或块对角线近似方法。

Dec, 2023

提出了一种受高斯反向传播启发的二阶（海森或无海森）优化方法，该方法通过低复杂度的再参数化技巧推广随机反向传播的梯度计算，实现了不依赖模型的可扩展变分推断。将其应用于贝叶斯逻辑回归和变分自编码器（VAE）问题时，获得了实际，可扩展和模型无关的结果。

Sep, 2015

本文根据统计物理学、随机矩阵理论、神经网络理论和实证证据，证明高维问题中鞍点而非局部极小值点是造成误差函数最小值难以求解的主要原因，因此，提出了一种新的二阶优化方法 —— 无鞍牛顿法，用以快速逃脱高维鞍点并优化深度或递归神经网络。

Jun, 2014

基于二阶算法和 Hessian 矩阵的优化器 SGD-PH 在深度神经网络训练中取得了良好的性能。

Mar, 2024

本文提出了一种新的分布式广义线性模型训练算法，只需计算各工作器上的 Hessian 矩阵的对角块，然后提出了一种自适应方法以应对近似信息并展示了其在多个基准数据集上表现出的最新结果并显著优于现有算法。

Jun, 2018

本文研究了一类基于牛顿方法的优化算法在非凸机器学习问题中的应用，展示了其可以更好地利用曲率信息来逃离平坦区域和鞍点，并在泛化性能方面表现相当于或优于手动调整学习率的随机梯度下降算法。

Aug, 2017

该研究论文旨在提出一种新的算法 - 无鞍牛顿法，通过对梯度下降和拟牛顿方法的比较，研究表明高维空间中的鞍点可能是局部最小值的主要原因，而不是通常认为的局部最小值过多。该算法能够快速避免高维鞍点，特别是在深度神经网络的训练中具有优势。

May, 2014