本文尝试缩小理论优化与实际优化之间的差距，提出了一种可扩展的二阶预处理方法来优化深度模型，利用异构硬件架构进行训练，相比于常规一阶方法在机器翻译、语言建模、点击率预测和图像分类等任务中表现出优异的性能。

Feb, 2020

这篇研究介绍了一种混合方法，用于加快二阶优化中的收敛速度。介绍了对角黑塞矩阵的在线有限差分近似方法，以及对多个超参数的模糊推理。取得了竞争力的结果。

Mar, 2024

本文提出一种新的分布式计算方法，用于计算海森矩阵的逆的排名 $m$ 近似，该方法利用多个 Worker 的梯度和参数的差异，有效地实现了牛顿 - 拉夫逊方法的分布式近似，并揭示出二阶方法用于大规模随机优化问题的优点和挑战，特别是我们的工作表明，结合梯度的新策略提供了关于损失曲面的进一步信息。

Sep, 2017

本文提出了一种可以匹配第一阶段方法迭代成本的机器学习优化问题的二阶随机方法，具有线性时间实现的稀疏输入数据。

Feb, 2016

本文提出了一种新的分布式训练线性分类器的方法，旨在减少通信成本，在迭代期间每个节点最小化局部形成的近似目标函数，然后合并得到下降方向移动，该方法可以看作是迭代参数混合法。

Oct, 2013

使用信息论信任域优化算法 (arTuRO)，通过模型化网络参数为高斯分布并使用基于 Kullback-Leibler 散度的信任域，我们利用较少的一阶信息从随机梯度中近似计算 Hessian 的对角元素，构建随时间变化的期望 Hessian 模型，并在每次更新之前为最佳步长解决信任域问题，从而实现更稳定和更快的优化过程，将自适应基于动量的优化的快速收敛性与 SGD 的泛化能力结合起来。

Oct, 2023

本文研究了一类基于牛顿方法的优化算法在非凸机器学习问题中的应用，展示了其可以更好地利用曲率信息来逃离平坦区域和鞍点，并在泛化性能方面表现相当于或优于手动调整学习率的随机梯度下降算法。

Aug, 2017

提出了一种使用二阶信息进行通信和计算效率高的分布式优化算法来解决具有非平滑正则化项的 ERM 问题。该算法使用逐步二次逼近法，并描述了如何在分布式方式下有效地维护 Hessian 的逼近并解决子问题。该方法适用于广泛的非强凸问题，具有全局线性收敛性，需要更低的通信复杂度。同时，该方法可以收敛于非凸问题，因此具有在深度学习等应用中使用的潜力。初步的计算结果表明，该方法在凸问题上显著提高了通信成本和运行时间，超越了现有技术的方法。

Mar, 2018

通过采用简单的 Hessian 初始化和自适应训练区域分配，本论文介绍了一种名为 RANL 的新颖高效算法，该算法克服了 Newton 方法在大规模和异构学习环境中的限制，展现了出色的收敛性能，有效地适应可用资源并保持高效率，使其成为实际场景中的分布式随机优化的有希望的方法。

Aug, 2023

通过使用二阶信息的标准化梯度下降法（NormGD）来解决参数估计问题，可以在样本量 n 的对数数量级内收敛，从而实现了达到最终统计半径的最优总体计算复杂度 O (n)。

Feb, 2022