ICMLJun, 2024

应用于强化学习的可扩展 Hessian 对角近似的再审视

PDF
TL;DR本研究探讨了利用近似方法计算 Hessian 对角线的成本，提出了一种以较小的额外计算量为代价的改进方案 HesScale，并应用于强化学习问题中的二阶优化和步长参数缩放，实验证明 HesScale 方法比现有方法优化更快，通过步长缩放提高了稳定性，这对于将二阶方法扩展到更大模型具有很大的潜力。
second-order informationhessian diagonalsapproximation schemehesscalereinforcement learning
发现论文，激发创造
  • 使用近似 Hessian 矩阵加速分布式深度学习的 SGD

    本文提出一种新的分布式计算方法，用于计算海森矩阵的逆的排名 $m$ 近似，该方法利用多个 Worker 的梯度和参数的差异，有效地实现了牛顿 - 拉夫逊方法的分布式近似，并揭示出二阶方法用于大规模随机优化问题的优点和挑战，特别是我们的工作表明，结合梯度的新策略提供了关于损失曲面的进一步信息。

    Sep, 2017

  • 一个可靠的分布式二阶算法

    本文提出了一种新的分布式广义线性模型训练算法，只需计算各工作器上的 Hessian 矩阵的对角块，然后提出了一种自适应方法以应对近似信息并展示了其在多个基准数据集上表现出的最新结果并显著优于现有算法。

    Jun, 2018

  • 神经网络的对角缩放

    定义了一种二阶神经网络随机梯度训练算法，其块对角结构有效地实现了单元激活的归一化，并研究了该算法在稳健性方面的不足之处，揭示了步长缩放的新方式以及处理成本曲率快速变化的重要性。

    May, 2017

  • 使用部分海森矩阵的 SGD 优化深度神经网络

    基于二阶算法和 Hessian 矩阵的优化器 SGD-PH 在深度神经网络训练中取得了良好的性能。

    Mar, 2024

  • 使用复步方向导数的二阶神经网络训练

    本文提出了一个基于二阶数值优化的深度学习算法。该算法使用复合数算法流的有限差分（CDSD）计算海森矩阵，通过监控泰勒级数的逼近误差，调整步长大小，实现了优化的同时保存良好的局部和全局收敛性，在深度学习任务中表现优异。

    Sep, 2020

  • 基于 Hessian 的 SGD 分析：深度网络的动力学和泛化

    本文通过对训练损失函数的海森矩阵及其相关量的分析，探讨了随机梯度下降（SGD）的优化动态和泛化行为等三个问题，并在合成数据、MNIST 和 CIFAR-10 数据集上进行了大量实验支持其理论结果。

    Jul, 2019

  • 神经网络可行的无鞍牛顿优化的 Hessian-Vector 乘积系列

    提出了一个既能解决大规模的 Hessian 矩阵问题，又能优化非凸性的优化算法，采用了一个无限级数截断的方法，并在多种情境下进行了验证，包括在 CIFAR-10 上训练的 ResNet-18 模型。

    Oct, 2023

  • ADAHESSIAN：适应性的机器学习二阶优化器

    该论文介绍了 ADAHESSIAN 这种基于自适应 Hessian 估计的二阶随机优化算法，通过运用 Hutchinson 方法来降低其计算成本，以及采用块对角平均方法减少 Hessian 对角元素的方差和 RMSE 指数平滑法平滑 Hessian 对角线变化。该算法在图像分类，自然语言处理，推荐系统等任务中展现出比 Adam 等自适应算法更好的性能，并且每次迭代的成本与一阶优化算法相当。

    Jun, 2020

  • 深度学习可扩展的二阶优化

    本文尝试缩小理论优化与实际优化之间的差距，提出了一种可扩展的二阶预处理方法来优化深度模型，利用异构硬件架构进行训练，相比于常规一阶方法在机器翻译、语言建模、点击率预测和图像分类等任务中表现出优异的性能。

    Feb, 2020

  • PyHessian：基于 Hessian 的神经网络

    我们提出了 PYHESSIAN 框架，它可以快速计算深度神经网络的 Hessian 信息，支持分布式计算，并且可以用于分析神经网络模型，特别是损失函数曲率（即损失函数的拓扑），以便更好的理解不同模型和优化器的行为表现。通过对残差连接和 BN 层的分析，我们发现传统的方法不一定正确，BN 层不一定会使得损失函数曲率更加平滑，特别是在较浅的神经网络中。

    Dec, 2019