NIPSNov, 2018

超级计算机规模的图像分类

PDF
TL;DR本文介绍了三个与系统相关的优化方案 —— 分布式批量归一化控制每个副本批量大小、输入管道优化维持模型吞吐量和二维鼓形约减加速梯度求和 —— 将这些优化相结合，在 1024 芯片 TPU v3 Pod 上以超过 105 万张 / 秒的训练吞吐量，在 2.2 分钟内将 ResNet-50 在 ImageNet 上训练到 76.3％的准确度，且没有精度降低。
deep learningtrainingoptimizationdistributed batch normalization2-d torus all-reduce
发现论文，激发创造
  • 又一种加速的 SGD: 在 ImageNet 上以 74.7 秒的速度训练 ResNet-50

    通过优化方法，我们使用 ABCI 集群上的 2048 个 GPU，在 74.7 秒内实现了高达 1.73 百万张图像 / 秒的训练吞吐量和 75.08％的 top-1 验证准确性，解决了分布式深度学习中大规模集群高伸缩性和高准确性的挑战。

    Mar, 2019

  • 基于混合精度的高可扩展深度学习训练系统：四分钟内训练 Imagenet

    提出了一个用于 GPU 集群的高度可扩展的深度学习训练系统，其中包括采用混合精度训练的方法、优化极大 mini-batch size 的方法、采用高度优化的全约约算法等，这些方法的使用将深度学习训练的吞吐量和精度取得了很好的平衡。

    Jul, 2018

  • 闪电般的 ImageNet/ResNet-50 训练：大规模分布式 SGD

    使用批次大小控制和标签平滑来解决大批次训练不稳定性问题；使用 2D-Torus all-reduce 解决梯度同步过程中的开销，实现了在 ABC 集群上在 122 秒内训练 ImageNet/ResNet-50 且精度损失不显著的分布式深度学习技术.

    Nov, 2018

  • 大型小批量 SGD 扩展：改进准确性和减少训练时间的 ImageNet-1K 上残差网络训练

    本文探讨了在 petaflop 级超级计算机上训练 ResNet-50 的挑战和新解决方案，最终展示了高达 90％的扩展效率和 28 分钟的训练时间。同时介绍了 Collapsed Ensemble (CE) 技术，使得在相同的固定训练预算下，使用未修改的 ResNet-50 拓扑结构可以获得高达 77.5％的准确率，类似于 ResNet-152。

    Nov, 2017

  • PowerAI DDL

    本论文介绍了一款软硬协同优化的分布式深度学习系统，通过使用多环通信模式和 GPU 的大规模并行计算等技术大幅度缩短了深度神经网络的训练时间，并在 Resnet-101 上取得了 33.8% 的验证精度，系统已被集成到 Tensorflow、Caffe 和 Torch 中。

    Aug, 2017

  • 分钟级 ImageNet 训练

    采用大批量数据并行同步 SGD 的 LARS 算法，我们在 2048 个 KNL 上完成了 90 个周期 ResNet-50 的 ImageNet 训练，仅需 20 分钟，同时达到 74.9% 的测试精度。

    Sep, 2017

  • 在 ImageNet 数据集上使用极大的 Minibatch SGD 训练 ResNet-50 模型只需 15 分钟

    使用大批量大小的训练技术，如 RMSprop 预热、批量归一化等方法，我们成功地在 15 分钟内使用 1024 个 Tesla P100 GPU 在 ImageNet 数据集上对 ResNet-50 进行了 90 轮训练，并在此过程中保持了准确性。

    Nov, 2017

  • TResNet：面向 GPU 的高性能架构

    本研究介绍一系列的体系结构修改，旨在提高神经网络的准确性，并保留其 GPU 训练和推理效率，最终引入了一种新的 GPU 专用模型 TResNet，其在 ImageNet 上达到了 80.8 的 Top-1 准确度，并在其他常见图像分类基准测试中达到领先水平。

    Mar, 2020

  • 气候分析的 Exascale 深度学习

    使用 Tiramisu 和 DeepLabv3 + 神经网络的变体提取极端天气模式的像素级掩模。通过改进软件框架、输入管道和网络训练算法以有效地扩展 Piz Daint 和 Summit 系统上的深度学习。Tiramisu 网络具有 5300 个 P100 GPU，持续吞吐量为 21.0 PF/s，并且具有 79.0% 的并行效率。DeepLabv3 + 可扩展至 27360 个 V100 GPU，在单精度下具有 325.8 PF/s 的持续吞吐量和 90.7% 的并行效率。通过利用 FP16 Tensor Cores，DeepLabv3 + 网络的半精度版本实现了 1.13 EF/s 的峰值吞吐量和 999.0 PF/s 的持续吞吐量。

    Oct, 2018

  • FireCaffe: 在计算集群上深度神经网络训练的近线性加速

    本文介绍了 FireCaffe，一个可以在 GPU 集群上成功扩展深度神经网络训练的工具，并提出了一些最佳实践方法以帮助比较不同缩放和加速深度神经网络训练方法的进展。在 ImageNet 上训练 GoogLeNet 和 Network-in-Network 时，当集群有 128 个 GPU 时，取得了 47x 和 39x 的加速效果。

    Oct, 2015