May, 2024

热力学自然梯度下降

PDF
TL;DR我们展示了在大规模训练中，与一阶方法相比，具有更好收敛性质的二阶训练方法很少被使用，可能是由于计算开销过大。然而，我们通过使用适当的硬件设备，证明了某些参数区间内，自然梯度下降（NGD）这种二阶方法在每次迭代中可以具备与一阶方法类似的计算复杂度。我们提出了一种新的混合数字 - 模拟算法用于神经网络训练，该算法在某些参数范围内等效于 NGD，但避免了解线性系统代价昂贵的求解。我们的算法利用了模拟系统在热力学平衡下的性质，因此需要模拟热力学计算机。在混合数字 - 模拟循环中进行训练，梯度和费舍尔信息矩阵（或任何正定曲率矩阵）在给定的时间间隔内计算，同时进行模拟动力学。在分类任务和语言模型微调任务上，我们通过数值实验证明了这种方法相对于最先进的数字一阶和二阶训练方法的优越性。
发现论文，激发创造
  • 深度学习的无逆自然梯度下降快速方法

    本研究提出了一种名为 FNGD 的快速自然梯度下降方法，通过在第一个迭代周期内计算逆运算，避免了在每次迭代中计算逆运算，从而使计算复杂度接近于一阶方法。通过在图像分类和机器翻译任务上进行实证评估，证明了所提出的 FNGD 方法的高效性。

    Mar, 2024

  • 自然梯度法的新洞见和视角

    探讨了自然梯度下降法作为一种二阶优化方法的性质及其在实际应用中的影响，强调了将技术如信任区域和 Tikhonov 正则化等融入实际优化器设计中的必要性。

    Dec, 2014

  • 使用复步方向导数的二阶神经网络训练

    本文提出了一个基于二阶数值优化的深度学习算法。该算法使用复合数算法流的有限差分（CDSD）计算海森矩阵，通过监控泰勒级数的逼近误差，调整步长大小，实现了优化的同时保存良好的局部和全局收敛性，在深度学习任务中表现优异。

    Sep, 2020

  • 深度学习可扩展的二阶优化

    本文尝试缩小理论优化与实际优化之间的差距，提出了一种可扩展的二阶预处理方法来优化深度模型，利用异构硬件架构进行训练，相比于常规一阶方法在机器翻译、语言建模、点击率预测和图像分类等任务中表现出优异的性能。

    Feb, 2020

  • 自然梯度下降的结构化二阶方法

    本研究提出了一种基于自然梯度下降的新结构化二阶方法与结构化自适应梯度方法，用于解决经典的非凸问题和深度学习问题。

    Jul, 2021

  • 基于模拟内存计算的精确基于梯度的训练

    基于模拟设备的梯度训练是一种能耗更低的人工智能解决方案，该论文通过研究模拟加速器上的梯度训练，提出了一个理论基础，并介绍了一种名为 Tiki-Taka 的启发式模拟算法，该算法能够快速收敛到关键点，消除了渐近误差。

    Jun, 2024

  • 利用二阶信息提高统计模型的计算复杂度

    通过使用二阶信息的标准化梯度下降法（NormGD）来解决参数估计问题，可以在样本量 n 的对数数量级内收敛，从而实现了达到最终统计半径的最优总体计算复杂度 O (n)。

    Feb, 2022

  • Gram-Gauss-Newton 方法：学习超参数神经网络用于回归问题

    本文介绍了一种新的 Gram-Gauss-Newton (GGN) 算法用于训练使用方形损失函数的深度神经网络，并借鉴了神经切线核（NTK）的想法。与典型的二阶方法相比，GGN 在每次迭代中只有小的开销。本文还给出了理论结果，证明对于足够广的神经网络，GGN 的收敛速度是二次的。此外，我们还提供了 mini-batch GGN 算法的收敛保证，这是我们知道的第一个关于超参数神经网络 mini-batch 版本的二阶方法的收敛结果。初步的实验表明，对于训练常规网络，我们的 GGN 算法比 SGD 收敛速度更快，性能更好。

    May, 2019

  • 大规模深度学习的可伸缩实用自然梯度

    本文提出了 Scalable and Practical Natural Gradient Descent（SP-NGD）算法，一种能够解决大规模深度神经网络训练中 mini-batch size 增加导致泛化能力下降的问题，且能够快速收敛并达到类似一阶优化方法的泛化性能，同时可进行大规模分布式训练。实验结果表明，使用 SP-NGD 算法进行 ImageNet 数据集上的 ResNet-50 模型训练，能够在 5.5 分钟内，使用 32768 的 mini-batch size 和 1024 个 GPU，获得 75.4% 的 top-1 验证精度；且在 873 个步骤内，即使使用极大的 mini-batch size=131072，也能够达到 74.9% 的准确率。

    Feb, 2020

  • 可行的结构化自然梯度下降使用本地参数化

    本文介绍了使用本地参数坐标的自然梯度下降法及其在协方差参数化中的应用，为深度学习、变分推断和进化策略等问题的可伸缩结构几何方法开辟了新方向。

    Feb, 2021