ICLRJun, 2021

大批次训练的并发对抗学习

PDF
TL;DR本研究提出使用对抗学习 (adversarial learning) 技术来增加大批量训练 (large-batch training) 的批量大小，以克服随着批量大小的增加而降低的数据增强表现的问题，并通过 Concurrent Adversarial Learning (ConAdv) 方法来解决对抗学习中的时间成本问题，在 ImageNet ResNet-50 训练中成功将批量大小扩展到 96K，并在保持高精度的同时大幅提高了模型的训练效率。
large-batch trainingadversarial learningbatch sizeneural networksstochastic optimizers
发现论文，激发创造
  • 卷积网络的大批量训练

    本文介绍了一种新的大批量训练算法：LARS，该算法采用分层自适应速率缩放，可使得尽管使用大批量训练，Alexnet 和 Resnet-50 的准确性不会降低。

    Aug, 2017

  • 使用敌对式训练和二阶信息进行神经网络的大批量训练

    本文提出了一种基于 Ray 框架的新型自适应批量大小框架，以及一种使用二阶方法和对抗训练的新型自适应批量大小训练方案，该方法在多个神经网络和数据集上均实现了比现有解决方案更好的效果。

    Oct, 2018

  • AdaBatch：用于训练深度神经网络的自适应批量大小

    本研究发展一种新的训练方法，在训练过程中自适应地增加 batch size，以达到小 batch size 的收敛速率和大 batch size 的性能表现。实验结果表明，在多个网络模型中，采用自适应 batch size 训练能够显著提高算法性能，同时精度变化不超过 1％。

    Dec, 2017

  • 随机梯度下降的大批量大小计算效率低下

    研究增加小批量大小以减少神经网络训练时间所面临的挑战，并通过广泛的经验分析得出，增加批量大小超过一定点对于训练或测试损失的收敛时间没有减少，而这一点通常低于当前系统的容量，说明常用的大批量优化训练策略在无法充分利用所有可用的计算资源之前就会失败。

    Nov, 2018

  • 精确的大型小批量随机梯度下降法：在 1 小时内训练 ImageNet

    本文研究了分布式同步随机梯度下降算法在大规模数据训练中的应用，证明了通过采用新的学习率调整规则和温暖启动方法，大批量训练可以克服优化难题，取得和小批量相同的精度，实现了在支持多达 256 个 GPU 的硬件上，在一小时内使用 8,192 个图像的小批量对 ResNet-50 进行有效的训练。

    Jun, 2017

  • ScaLA: 通过高效的大批量对抗性噪声加速预训练的基于 Transformer 的语言模型的适应性

    通过加入轻量级对抗噪声到大规模优化中，我们提出了 ScaLA 方法，可以加速预训练 transformer 网络的自适应速度，并在保持模型概括能力的同时，取得了与最先进的大批量优化方法相当甚至更高的准确性。

    Jan, 2022

  • 大批量训练的实证模型

    本文研究使用仅依赖梯度的统计量 (gradient noise scale) 来预测各种深度学习模型中最适合的 batch size 的大小，结果表明该参数可以在很多领域都适用，包括监督学习数据、强化学习领域以及生成模型训练。

    Dec, 2018

  • 面向内存受限环境的深层对比学习批量大小缩放

    该论文介绍了一种称为渐变缓存的技术，该技术使用批次内负样本来学习高质量表示，并使得梯度可以逐个子集计算，从而减少内存使用。

    Jan, 2021

  • 大规模重温对抗训练

    通过在规模上应用对抗训练，我们引入了一种名为 AdvXL 的高效训练策略，它能够以可承受的计算成本训练巨型模型和网络规模的数据，从而在 ImageNet-1K 上建立了新的鲁棒准确性记录。

    Jan, 2024

  • 深度学习大批量优化：76 分钟训练 BERT

    本文提出了一个新的基于分层自适应学习率的大批量优化技术 ——LAMB，主要用于加速深度神经网络训练。在各种任务（如 BERT 和 ResNet-50）中，LAMB 的表现优于现有算法，特别是在 BERT 训练中，我们的优化器能够实现 32868 的大批量大小，将训练时间从 3 天缩短至 76 分钟。

    Apr, 2019