本文提出了一种具有优越性能的 Riemannian 随机拟牛顿算法，以减少大量但有限的损失函数的平均值，在不确定性的情况下实现了加、减、平均多个梯度，并在消去和向量传输术语下，对非凸和收缩凸函数进行了收敛性分析，并在对称正定流形的 Karcher 平均值计算以及 Grassmann 流形的低秩矩阵完成方面进行了评估与实验，均表明该算法胜过当前最先进的批量和随机梯度算法。

Mar, 2017

提出了随机方差减小的 Nesterov's Accelerated Quasi-Newton 方法，分别在 Tensorflow 上进行标准测试，结果表明相比传统方法，这种方法对于大规模数据的神经网络训练能够有效提高性能。

Oct, 2019

提出了随机方差约减的立方正则牛顿法，应用于非凸优化问题。该方法在半随机梯度和半随机海森矩阵的基础上工作，具有较低的复杂度，并在各种非凸优化问题上得到了验证。

Feb, 2018

本文提出了一种快速的随机拟牛顿方法，针对平滑性不均匀的情况，通过梯度剪切和方差减小，实现了最优的 O (ε^(-3)) 样本复杂度，并通过简单的超参数调节实现了收敛加速，数值实验证明了该算法优于现有方法。

Mar, 2024

本文提出了一种基于限制记忆的 BFGS 更新公式和子采样 Hessian - 向量积的随机拟牛顿方法来有效地、稳健地和可伸缩地处理如何将曲率信息纳入随机逼近方法的问题，并通过机器学习问题上的数值结果展示其前景。

Jan, 2014

本文介绍了基于随机梯度信息的非凸随机优化的随机拟牛顿方法，分别从框架、随机化和具体方法方面进行了研究，并提供了数值结果证明其高效性。

Dec, 2014

本篇论文研究了非凸优化中高效到达稳定点的基本问题，并利用方差缩减技巧和适用于非凸优化的全新方差缩减分析提出一种首个非凸优化的一阶小批量随机算法，并在非凸损失函数和神经网络训练中表现出了有效性。

Mar, 2016

本文提出一种基于随机零阶梯度与方差降低的高斯平滑的新型方法，用于优化非凸函数，特别是深度神经网络的黑盒攻击问题，并在实验中证明了其比现有的导数 - free 优化技术表现更优。

May, 2018

JacSketch 是一种基于随机梯度下降和随机数值线性代数的方法，通过 sketching 方式用梯度的 Jacobian 矩阵估计梯度；此方法可以应用于 SAGA 方法的多种变体，包括重要性采样，具有较优的收敛速率。

May, 2018

本文提出了一种具有 Nesterov 加速梯度的随机（在线）拟牛顿方法，用于解决神经网络中的大规模非凸优化问题，结果表明其性能优于传统的二阶 oBFGS 和 oLBFGS 方法以及常用的一阶随机梯度方法，还在不同的动量率和批处理大小下进行了说明。

Sep, 2019