使用近似 Hessian 矩阵加速分布式深度学习的 SGD

ICLRSep, 2017

使用近似 Hessian 矩阵加速分布式深度学习的 SGD

Accelerating SGD for Distributed Deep-Learning Using Approximated Hessian Matrix

Sébastien M. R. Arnold, Chunming Wang

TL;DR本文提出一种新的分布式计算方法，用于计算海森矩阵的逆的排名 $m$ 近似，该方法利用多个 Worker 的梯度和参数的差异，有效地实现了牛顿 - 拉夫逊方法的分布式近似，并揭示出二阶方法用于大规模随机优化问题的优点和挑战，特别是我们的工作表明，结合梯度的新策略提供了关于损失曲面的进一步信息。

Abstract

We introduce a novel method to compute a rank $m$ approximation of the inverse of the hessian matrix in the distributed regime. By leveraging the differences in gradients and parameters of multiple Workers, we ar

distributed computing hessian matrix newton-raphson method stochastic optimization gradients

发现论文，激发创造

一个可靠的分布式二阶算法

本文提出了一种新的分布式广义线性模型训练算法，只需计算各工作器上的 Hessian 矩阵的对角块，然后提出了一种自适应方法以应对近似信息并展示了其在多个基准数据集上表现出的最新结果并显著优于现有算法。

Jun, 2018

使用部分海森矩阵的 SGD 优化深度神经网络

基于二阶算法和 Hessian 矩阵的优化器 SGD-PH 在深度神经网络训练中取得了良好的性能。

Mar, 2024

基于 Hessian 的 SGD 分析：深度网络的动力学和泛化

本文通过对训练损失函数的海森矩阵及其相关量的分析，探讨了随机梯度下降（SGD）的优化动态和泛化行为等三个问题，并在合成数据、MNIST 和 CIFAR-10 数据集上进行了大量实验支持其理论结果。

Jul, 2019

统一随机梯度下降和拟牛顿法的快速大规模优化

该研究提出了一种算法，它结合了随机梯度下降的计算效率和拟牛顿法利用的二阶曲率信息，通过维护和操作每个贡献函数的独立 Hessian 近似值实现不同的方法的统一。该算法适用于高维度优化问题，通过将这些二次近似值存储和操作在一个共享的、时变的、低维度子空间中，保持了计算可行性和限制了内存需求，且需要很少或不需要调整超参数。该算法与早期的随机二阶技术相反，早期技术将每个贡献函数的 Hessian 视为完整 Hessian 的噪声近似，而不是直接估计的目标。在七个不同的优化问题上进行了实验性的改进收敛表现，算法已发布为开源 Python 和 MATLAB 软件包。

Nov, 2013

ADLER -- 一种基于海森矩阵的自适应学习速率策略

本研究基于深度模型，提供了一种基于局部二次逼近的自适应 SGD 学习率策略，并将其与格点搜索 SDG 学习率及 Gauss-Newton 近似法进行比较。该策略的 Hessian 矩阵的正半定估计精确度较高，可以在分类任务中对不同结构（有或无残差连接）的卷积神经网络上进行性能评估。

May, 2023

应用于强化学习的可扩展 Hessian 对角近似的再审视

本研究探讨了利用近似方法计算 Hessian 对角线的成本，提出了一种以较小的额外计算量为代价的改进方案 HesScale，并应用于强化学习问题中的二阶优化和步长参数缩放，实验证明 HesScale 方法比现有方法优化更快，通过步长缩放提高了稳定性，这对于将二阶方法扩展到更大模型具有很大的潜力。

Jun, 2024

大规模分布式学习中的拟牛顿更新

开发了具有卓越统计分析、计算和通信效率的分布式拟牛顿（DQN）框架，无需 Hessian 矩阵倒置或通信，在小数次迭代下提供了统计效率的结果，强调与现有方法的差别在于对统计学性质的调查。

Jun, 2023

使用近似牛顿法的通信高效分布式优化

本研究提出了适用于分布式优化的一种新的 Newton 类方法，特别适用于随机优化和学习问题。对于二次目标，该方法的收敛速度呈现线性，可以按照数据规模得到改善，基于合理假设需要基本恒定次迭代。本文提供了理论和实证证据，表明我们的方法比其他方法，如单次参数平均和 ADMM，具有优势。

Dec, 2013

随机拟牛顿 Langevin Monte Carlo

本研究提出了一种新的随机梯度马尔可夫链蒙特卡罗方法，通过使用拟牛顿优化方法的思想考虑局部几何，并使用样本和它们的梯度的有限历史直接近似逆海森矩阵。方法使用密集逆海森近似，同时保持时间和内存复杂度与问题的维数成线性关系，我们的理论分析表明，该方法在渐近无偏和一致后验期望的同时，实现了类似于黎曼方法的快速收敛率和对角线预处理方法的低计算要求。

Feb, 2016

训练深度神经网络的实用拟牛顿方法

本文提出了一种使用 Kronecker 乘积近似 Hessian 矩阵和结构化梯度的 Kronecker 分块对角线 BFGS 和 L-BFGS 方法用于深度神经网络训练，通过测试验证其性能优于或与 KFAC 和一阶随机方法相当。

Jun, 2020