深度学习大批量优化：76 分钟训练 BERT

ICLRApr, 2019

深度学习大批量优化：76 分钟训练 BERT

Large Batch Optimization for Deep Learning: Training BERT in 76 minutes

Yang You, Jing Li, Sashank Reddi, Jonathan Hseu, Sanjiv Kumar...

TL;DR本文提出了一个新的基于分层自适应学习率的大批量优化技术 ——LAMB，主要用于加速深度神经网络训练。在各种任务（如 BERT 和 ResNet-50）中，LAMB 的表现优于现有算法，特别是在 BERT 训练中，我们的优化器能够实现 32868 的大批量大小，将训练时间从 3 天缩短至 76 分钟。

Abstract

Training large deep neural networks on massive datasets is computationally very challenging. There has been recent surge in interest in using large batch stochastic optimization methods to tackle this issue. The most prominent algorithm in this line of research is LARS, which by employ

large batch optimization lamb deep neural networks bert resnet

发现论文，激发创造

卷积网络的大批量训练

本文介绍了一种新的大批量训练算法：LARS，该算法采用分层自适应速率缩放，可使得尽管使用大批量训练，Alexnet 和 Resnet-50 的准确性不会降低。

Aug, 2017

重新审视 LARS 用于大批量训练神经网络的泛化

通过实验分析研究了大规模批量学习中两种优化器（LARS 和 LAMB）的行为以及热身技术在其中的必要性，并在此基础上提出了一种名为 Time Varying LARS (TVLARS) 的新算法，该算法在初始阶段实现了稳定训练，无需热身技术，实验证明 TVLARS 在使用热身技术时与 LARS 和 LAMB 取得了相当的结果，并且在无热身技术时超越了它们的性能。

Sep, 2023

MLPerf 训练突破：BERT 优化案例研究

提出了新的方法，包括负载均衡、通信成本隐藏、优化器重新评估，并结合超参数优化和更大的批次使用 ADAM 等技术，实现了最快的 MLPerf BERT 训练，比其他两个（一个）MLPerf v1.1（v2.0）提交的结果更快。

Feb, 2024

大批量训练自动学习率调度器

本文提出了一种有效的 LR 调试算法，其中包括自适应的预热和预定义的衰减，通过高斯过程平滑的在线检查方法可以有效地训练具有大批次大小的神经网络。

Jul, 2021

AdaBatch：用于训练深度神经网络的自适应批量大小

本研究发展一种新的训练方法，在训练过程中自适应地增加 batch size，以达到小 batch size 的收敛速率和大 batch size 的性能表现。实验结果表明，在多个网络模型中，采用自适应 batch size 训练能够显著提高算法性能，同时精度变化不超过 1％。

Dec, 2017

大批次训练的并发对抗学习

本研究提出使用对抗学习 (adversarial learning) 技术来增加大批量训练 (large-batch training) 的批量大小，以克服随着批量大小的增加而降低的数据增强表现的问题，并通过 Concurrent Adversarial Learning (ConAdv) 方法来解决对抗学习中的时间成本问题，在 ImageNet ResNet-50 训练中成功将批量大小扩展到 96K，并在保持高精度的同时大幅提高了模型的训练效率。

Jun, 2021

在 ImageNet 数据集上使用极大的 Minibatch SGD 训练 ResNet-50 模型只需 15 分钟

使用大批量大小的训练技术，如 RMSprop 预热、批量归一化等方法，我们成功地在 15 分钟内使用 1024 个 Tesla P100 GPU 在 ImageNet 数据集上对 ResNet-50 进行了 90 轮训练，并在此过程中保持了准确性。

Nov, 2017

使用新的执行算法，以恒定内存训练大型神经网络

本研究提出一种名为 L2L 的新型执行技术，使用 16GB V100 设备可以在单个 16GB V100 和 512GB CPU 内存的机器上承载高达 50 亿个参数的模型，相比现有方法，减少了 45％的内存使用量并提高了 40％的吞吐量，实现了人工智能民主化。

Feb, 2020

精确的大型小批量随机梯度下降法：在 1 小时内训练 ImageNet

本文研究了分布式同步随机梯度下降算法在大规模数据训练中的应用，证明了通过采用新的学习率调整规则和温暖启动方法，大批量训练可以克服优化难题，取得和小批量相同的精度，实现了在支持多达 256 个 GPU 的硬件上，在一小时内使用 8,192 个图像的小批量对 ResNet-50 进行有效的训练。

Jun, 2017

AutoLRS: 基于贝叶斯优化的自动学习率调整

该研究提出了一种名为 AutoLRS 的自适应学习率优化方法，使用贝叶斯优化自动调整神经网络中的学习率，能够显著提高训练的效率和准确性。

May, 2021