本文提出了一种基于限制记忆的 BFGS 更新公式和子采样 Hessian - 向量积的随机拟牛顿方法来有效地、稳健地和可伸缩地处理如何将曲率信息纳入随机逼近方法的问题，并通过机器学习问题上的数值结果展示其前景。

Jan, 2014

本文提出了一种具有 Nesterov 加速梯度的随机（在线）拟牛顿方法，用于解决神经网络中的大规模非凸优化问题，结果表明其性能优于传统的二阶 oBFGS 和 oLBFGS 方法以及常用的一阶随机梯度方法，还在不同的动量率和批处理大小下进行了说明。

Sep, 2019

本文提出了一种快速的随机拟牛顿方法，针对平滑性不均匀的情况，通过梯度剪切和方差减小，实现了最优的 O (ε^(-3)) 样本复杂度，并通过简单的超参数调节实现了收敛加速，数值实验证明了该算法优于现有方法。

Mar, 2024

该研究提出了一种算法，它结合了随机梯度下降的计算效率和拟牛顿法利用的二阶曲率信息，通过维护和操作每个贡献函数的独立 Hessian 近似值实现不同的方法的统一。该算法适用于高维度优化问题，通过将这些二次近似值存储和操作在一个共享的、时变的、低维度子空间中，保持了计算可行性和限制了内存需求，且需要很少或不需要调整超参数。该算法与早期的随机二阶技术相反，早期技术将每个贡献函数的 Hessian 视为完整 Hessian 的噪声近似，而不是直接估计的目标。在七个不同的优化问题上进行了实验性的改进收敛表现，算法已发布为开源 Python 和 MATLAB 软件包。

Nov, 2013

本文介绍了基于随机梯度信息的非凸随机优化的随机拟牛顿方法，分别从框架、随机化和具体方法方面进行了研究，并提供了数值结果证明其高效性。

Dec, 2014

本文提出了一个通用框架，允许加速几乎任意非加速确定性和随机算法用于光滑凸优化问题，其中通过使用加速的近端外梯度方法作为非加速内方法的包络来实现。该算法有两个关键不同之处：容易验证的内部算法停止标准和学习率的可调节性，使得此工作的主要贡献是适用于自适应内部算法 Steepset Descent、Adaptive Coordinate Descent 和 Alternating Minimization 的新框架。此外，在非自适应情况下，我们的方法允许获得没有对数因子的 Catalyst，这与标准 Catalyst 不同。

Nov, 2019

我们提出了一种高效的分块对角近似方法来计算前馈神经网络的高斯 - 牛顿矩阵，与一阶优化方法相比，有时能够显著提高优化性能。此外，我们的方法无需繁琐的调参，即可提供良好的性能。在针对分段线性转移函数进行优化时，网络目标函数可能不存在可微的局部极大值，这也可以部分解释为什么这样的转移函数有助于有效优化。

Jun, 2017

我们提出了一种新的优化方法，通过类似于椭球体法的简单几何解释，实现了超平滑何强凸函数的无约束优化，并在数值实验中证明了其优于 Nesterov 加速梯度下降。

Jun, 2015

本研究提出了适用于分布式优化的一种新的 Newton 类方法，特别适用于随机优化和学习问题。对于二次目标，该方法的收敛速度呈现线性，可以按照数据规模得到改善，基于合理假设需要基本恒定次迭代。本文提供了理论和实证证据，表明我们的方法比其他方法，如单次参数平均和 ADMM，具有优势。

Dec, 2013

该研究提出了一种名为 “Vite” 的基于 Stochastic Quasi-Newton 算法的优化方法，它利用一种现有的一阶技术来减少噪声和方差，并在大规模学习问题上取得了不错的结果。

Mar, 2015