Nov, 2023

一种计算高效的稀疏化在线牛顿方法

PDF
TL;DR我们介绍了一种记忆高效的二阶算法：Sparsified Online Newton (SONew) 方法，并将其用于大规模基准测试中，获得了更快的收敛速度、更好的验证性能和更高的训练损失改善。该方法利用结构化稀疏模式来加速收敛，同时相对于其他记忆高效的一阶方法而言，实现上更简单且更易于扩展。
发现论文，激发创造
  • 通过草图实现高效的二阶在线学习

    提出了 Sketched Online Newton（SON），这是一种在线二阶学习算法，具有较高的遗憾保证，且通过素描技巧在维度和素描大小线性运行时间。

    Feb, 2016

  • SPAN：一种随机投影近似牛顿法

    本文提出了一种快速的二阶优化算法 SPAN, 通过低秩逼近和随机海森向量相乘的方式来计算黑塞矩阵的逆，实验结果证明 SPAN 在多个基准数据集上优于现有的一阶和二阶优化算法，同时提供了每次迭代的复杂度、逼近误差和收敛速度的理论分析，表明 SPAN 在收敛速度和每次迭代效率之间取得了更好的平衡。

    Feb, 2020

  • 深度学习可扩展的二阶优化

    本文尝试缩小理论优化与实际优化之间的差距，提出了一种可扩展的二阶预处理方法来优化深度模型，利用异构硬件架构进行训练，相比于常规一阶方法在机器翻译、语言建模、点击率预测和图像分类等任务中表现出优异的性能。

    Feb, 2020

  • 一个可靠的分布式二阶算法

    本文提出了一种新的分布式广义线性模型训练算法，只需计算各工作器上的 Hessian 矩阵的对角块，然后提出了一种自适应方法以应对近似信息并展示了其在多个基准数据集上表现出的最新结果并显著优于现有算法。

    Jun, 2018

  • 非凸机器学习的二阶优化：一个经验性研究

    本文研究了一类基于牛顿方法的优化算法在非凸机器学习问题中的应用，展示了其可以更好地利用曲率信息来逃离平坦区域和鞍点，并在泛化性能方面表现相当于或优于手动调整学习率的随机梯度下降算法。

    Aug, 2017

  • 具有 Nesterov 加速梯度的随机拟牛顿方法

    本文提出了一种具有 Nesterov 加速梯度的随机（在线）拟牛顿方法，用于解决神经网络中的大规模非凸优化问题，结果表明其性能优于传统的二阶 oBFGS 和 oLBFGS 方法以及常用的一阶随机梯度方法，还在不同的动量率和批处理大小下进行了说明。

    Sep, 2019

  • 神经网络可行的无鞍牛顿优化的 Hessian-Vector 乘积系列

    提出了一个既能解决大规模的 Hessian 矩阵问题，又能优化非凸性的优化算法，采用了一个无限级数截断的方法，并在多种情境下进行了验证，包括在 CIFAR-10 上训练的 ResNet-18 模型。

    Oct, 2023

  • （过参数化）神经网络的近线性时间训练

    该论文提出了一种基于随机线性代数的改进的二阶优化算法，重新解构了高斯牛顿迭代，使用快速 Johnson-Lindenstrauss 变换进行预处理，并使用一阶共轭梯度法得到足够好的近似解来训练 (moderately overparametrized) ReLU 网络，并且取得了快速训练的效果。

    Jun, 2020

  • 基于混合量子经典调度的牛顿梯度下降加速神经网络训练

    利用量子线性求解器算法的 Q-Newton 提供了一种加速神经网络训练的混合量子 - 经典调度器，具有指数级加速的潜力，并且在减少训练时间方面表现出显著优势。

    Apr, 2024

  • 使用复步方向导数的二阶神经网络训练

    本文提出了一个基于二阶数值优化的深度学习算法。该算法使用复合数算法流的有限差分（CDSD）计算海森矩阵，通过监控泰勒级数的逼近误差，调整步长大小，实现了优化的同时保存良好的局部和全局收敛性，在深度学习任务中表现优异。

    Sep, 2020