通过高阶导数总结将牛顿法应用于神经网络

Dec, 2023

通过高阶导数总结将牛顿法应用于神经网络

Adapting Newton's Method to Neural Networks through a Summary of Higher-Order Derivatives

Pierre Wolinski

TL;DR本研究论文介绍了一种基于梯度的优化方法，并提出了一个计算上廉价的技术，用于获得有关张量之间交互关系的二阶信息。使用这种技术，构建了适用于各种深度神经网络结构的二阶优化方法，避免了计算 Hessian 矩阵和其近似的复杂性，并改善了现有的对角线或块对角线近似方法。

Abstract

We consider a gradient-based optimization method applied to a function $\mathcal{L}$ of a vector of variables $\boldsymbol{\theta}$, in the case where $\boldsymbol{\theta}$ is represented as a tuple of tensors $(\mathbf{T}_1, \cdots, \mathbf{T}_S)$. This framework encompasses many comm

gradient-based optimization higher-order information second-order optimization deep neural networks hessian computation

发现论文，激发创造

使用复步方向导数的二阶神经网络训练

本文提出了一个基于二阶数值优化的深度学习算法。该算法使用复合数算法流的有限差分（CDSD）计算海森矩阵，通过监控泰勒级数的逼近误差，调整步长大小，实现了优化的同时保存良好的局部和全局收敛性，在深度学习任务中表现优异。

Sep, 2020

深度学习可扩展的二阶优化

本文尝试缩小理论优化与实际优化之间的差距，提出了一种可扩展的二阶预处理方法来优化深度模型，利用异构硬件架构进行训练，相比于常规一阶方法在机器翻译、语言建模、点击率预测和图像分类等任务中表现出优异的性能。

Feb, 2020

统一随机梯度下降和拟牛顿法的快速大规模优化

该研究提出了一种算法，它结合了随机梯度下降的计算效率和拟牛顿法利用的二阶曲率信息，通过维护和操作每个贡献函数的独立 Hessian 近似值实现不同的方法的统一。该算法适用于高维度优化问题，通过将这些二次近似值存储和操作在一个共享的、时变的、低维度子空间中，保持了计算可行性和限制了内存需求，且需要很少或不需要调整超参数。该算法与早期的随机二阶技术相反，早期技术将每个贡献函数的 Hessian 视为完整 Hessian 的噪声近似，而不是直接估计的目标。在七个不同的优化问题上进行了实验性的改进收敛表现，算法已发布为开源 Python 和 MATLAB 软件包。

Nov, 2013

一个可靠的分布式二阶算法

本文提出了一种新的分布式广义线性模型训练算法，只需计算各工作器上的 Hessian 矩阵的对角块，然后提出了一种自适应方法以应对近似信息并展示了其在多个基准数据集上表现出的最新结果并显著优于现有算法。

Jun, 2018

神经网络可行的无鞍牛顿优化的 Hessian-Vector 乘积系列

提出了一个既能解决大规模的 Hessian 矩阵问题，又能优化非凸性的优化算法，采用了一个无限级数截断的方法，并在多种情境下进行了验证，包括在 CIFAR-10 上训练的 ResNet-18 模型。

Oct, 2023

使用部分海森矩阵的 SGD 优化深度神经网络

基于二阶算法和 Hessian 矩阵的优化器 SGD-PH 在深度神经网络训练中取得了良好的性能。

Mar, 2024

多项式工作量的高阶牛顿法

我们提出了一种通过在每次迭代中使用半定规划来构造和最小化一个关于所需最小化函数的 $d$ 阶泰勒展开的平方和凸逼近，从而实现了包括 $d$ 阶导数在内但每次迭代的成本与维度呈多项式关系的 Newton 方法的推广。我们证明了我们的 $d$ 阶方法具有 $d$ 阶的局部收敛性，相对于经典的 Newton 方法，这导致了较低的预测器复杂性。我们在数值实例上展示了随着 $d$ 的增加，局部最小值周围的吸引盆地可以变得更大。在额外的假设下，我们提出了一种修改的算法，同样具有多项式成本的每次迭代，并且具有全局收敛性和 $d$ 阶的局部收敛性。

Nov, 2023

自然梯度法的新洞见和视角

探讨了自然梯度下降法作为一种二阶优化方法的性质及其在实际应用中的影响，强调了将技术如信任区域和 Tikhonov 正则化等融入实际优化器设计中的必要性。

Dec, 2014

（过参数化）神经网络的近线性时间训练

该论文提出了一种基于随机线性代数的改进的二阶优化算法，重新解构了高斯牛顿迭代，使用快速 Johnson-Lindenstrauss 变换进行预处理，并使用一阶共轭梯度法得到足够好的近似解来训练 (moderately overparametrized) ReLU 网络，并且取得了快速训练的效果。

Jun, 2020

将随机梯度推向二阶方法 —— 通过非线性变换的反向传播学习

本研究提出针对神经网络的三个转换方法，以近似二阶优化方法提高学习速度，但第三个转换可能因收敛到局部最优解且隐藏神经元的输入和输出接近零而对性能造成损害。

Jan, 2013