提出了一种新的高维随机优化方法，将坐标下降法推广到随机子空间，证明了使用自适应采样策略的随机子空间可以显著优于最近文献中常见的盲目采样方法，可以通过相关随机矩阵集合有效生成自适应子空间；在具有不同谱衰减的数据矩阵上验证了该方法在机器学习问题中的速度优势，包括逻辑回归、带随机卷积层的核分类和具有修正线性单元的浅神经网络。

Jun, 2019

该论文介绍了 ADAHESSIAN 这种基于自适应 Hessian 估计的二阶随机优化算法，通过运用 Hutchinson 方法来降低其计算成本，以及采用块对角平均方法减少 Hessian 对角元素的方差和 RMSE 指数平滑法平滑 Hessian 对角线变化。该算法在图像分类，自然语言处理，推荐系统等任务中展现出比 Adam 等自适应算法更好的性能，并且每次迭代的成本与一阶优化算法相当。

Jun, 2020

本文尝试缩小理论优化与实际优化之间的差距，提出了一种可扩展的二阶预处理方法来优化深度模型，利用异构硬件架构进行训练，相比于常规一阶方法在机器翻译、语言建模、点击率预测和图像分类等任务中表现出优异的性能。

Feb, 2020

AdaSubS 是一种自适应搜索方法，通过不同距离下生成不同的子目标，利用核实机制过滤不可达的子目标，实现长短子目标策略的高效平衡，从而在三个复杂推理任务中显著优于分层规划算法 —— 推箱子游戏，魔方和 INT 不等式证明基准。

Jun, 2022

本研究提出了一个针对高维模型和大量训练样本的二阶优化方法，使用 Krylov 子空间进行训练加速，并在深度神经网络中的效果优于 SGD、共轭梯度下降和 L-BFGS 等算法，且优于 Hessian Free 方法。

Nov, 2011

本文提出了一种新的分布式广义线性模型训练算法，只需计算各工作器上的 Hessian 矩阵的对角块，然后提出了一种自适应方法以应对近似信息并展示了其在多个基准数据集上表现出的最新结果并显著优于现有算法。

Jun, 2018

本文论述了大规模优化问题中 Sub-sampling 的迭代算法，提供了 Hessian 和梯度子采样的收敛边界，使用随机数值线性代数来获得适当的采样策略，并为在大规模线性系统下近似更新的情况下的全局收敛结果提供了解决方案

Jan, 2016

本文提出了一种基于控制变量和 Rao-Blackwell 定理的策略优化方法，将其融合到一个统一的框架中，以降低高维连续控制任务中的策略梯度估计器方差，并成功将其应用于高维综合设置和 OpenAI Gym 的 MuJoCo 连续控制任务中。

May, 2018

本文提出了一种可以匹配第一阶段方法迭代成本的机器学习优化问题的二阶随机方法，具有线性时间实现的稀疏输入数据。

Feb, 2016

本文介绍了使用随机零阶查询优化高维凸函数的问题，提出了两种算法，并表明两种算法只依赖于问题的环境维度的对数收敛率。实证研究证明了理论发现，并表明我们设计的算法在高维场景中优于经典的零阶优化方法。

Oct, 2017