Nov, 2017

GPU 上的分布式深度学习框架性能建模与评估

PDF
TL;DR本研究通过评估四种最先进的分布式深度学习框架（即 Caffe-MPI，CNTK，MXNet 和 TensorFlow）在单 GPU、多 GPU 和多节点环境中的运行性能，基于 SGD 训练三种流行的卷积神经网络（即 AlexNet，GoogleNet 和 ResNet-50），分析了引起这四个框架性能差异的因素，并提出进一步优化方向。通过分析和实验研究，发现了可以进一步优化的瓶颈和开销，为算法设计和系统配置提供了改进方向。
deep learning frameworksgpu serversdistributed deep learningperformance evaluationconvolutional neural networks
发现论文，激发创造
  • 深度学习软件工具的最新技术对标

    本文主要研究了 Caffe、CNTK、MXNet、TensorFlow 和 Torch 等最新的 GPU 加速深度学习软件工具，并通过基准测试比较了这些工具的性能。本研究旨在为终端用户选择合适的硬件平台和软件工具提供指南，并为深度学习工具的软件开发者指出未来的性能优化方向。

    Aug, 2016

  • ChainerMN：可扩展分布式深度学习框架

    该论文介绍设计、实现和评估我们开发的分布式深度学习框架 ChainerMN，并证明使用该框架可以将 ResNet-50 模型的学习过程扩展到 128 个 GPU。

    Oct, 2017

  • 深度学习软件框架的比较研究

    本文比较了五种深度学习框架（Caffe，Neon，TensorFlow，Theano 和 Torch）在三个方面的性能（可扩展性，硬件利用率和速度指标），并评估了它们在训练和部署各种深度学习结构时的性能。 研究结果表明：Theano 和 Torch 是最易于扩展的框架，中央处理器上最适用的框架是 Torch，然后是 Theano，此外 Caffe 可以轻松地评估标准深度结构的性能，TensorFlow 是非常灵活的框架，但目前其性能与其他研究的框架相比不具竞争力。

    Nov, 2015

  • 分布式环境下深度学习通用性能模型

    本文提出一种针对分布式环境下深度学习应用程序的性能建模方法，使用正则化和差分进化算法解决全局优化问题，可用于任何分布式深度神经网络，为性能和可扩展性提供有帮助的因素解释和准确性预测。

    May, 2023

  • FireCaffe: 在计算集群上深度神经网络训练的近线性加速

    本文介绍了 FireCaffe，一个可以在 GPU 集群上成功扩展深度神经网络训练的工具，并提出了一些最佳实践方法以帮助比较不同缩放和加速深度神经网络训练方法的进展。在 ImageNet 上训练 GoogLeNet 和 Network-in-Network 时，当集群有 128 个 GPU 时，取得了 47x 和 39x 的加速效果。

    Oct, 2015

  • 多 GPU 平台机器学习训练的通用性能建模

    通过数据分配感知性能模型和通信集合的数据移动预测，我们可以在多个 GPU 平台上训练机器学习工作负载，并且能够准确预测迭代训练时间，扩展到其他类型的机器学习工作负载，例如基于 Transformer 的自然语言处理模型，并能够生成洞察力，如快速选择最快的嵌入表分片配置。

    Apr, 2024

  • 单线程和多线程模式下开源机器学习框架各参数的性能分析

    比较 TensorFlow、Deep Learning4j 和 H2O 这些最常用的开源机器学习框架的基本特征，针对 MNIST 数据集测试 H2O 深度学习算法在单线程和多线程模式下的 CPU 和 GPU 效果并比较不同参数的影响，在单线程模式下证明参数的盲目选择会显著增加运行时间但精度无显著提升，该结果对优化可用和新的机器学习方法特别是图像识别问题具有至关重要的影响。

    Aug, 2017

  • 深度学习模型的 CPU 和 GPU 性能分析比较

    使用 Pytorch 实现深度神经网络时，本文通过分析 CPU 和 GPU 的时间和内存分配，显示 GPU 相比 CPU 在深度神经网络的训练中运行时间更短，但在简化网络中，GPU 相比 CPU 没有太多显著的改进。

    Sep, 2023

  • 基于多 GPU 平台的模型并行的高效稳健的 DNN 训练

    该论文提出了一种基于 SpecTrain 的管道模型并行执行方法，可以在保持训练准确性的前提下，实现高 GPU 利用率，相比数据并行法可提高 8.91 倍的速度。

    Sep, 2018

  • 优化 GPU 集群上分布式 DNN 训练的网络性能：1.5 分钟内完成 ImageNet/AlexNet 训练

    本论文提出了一种名为 GradientFlow 的通信后端，通过一系列网络优化技术来优化深度神经网络（DNN）的分布式训练，包括环形全局归约、混合精度训练、循环计算 / 通信和懒惰全局归约等，实现了超过 410 倍的训练速度加速比和 1.5 分钟完成 95 个 Epoch 的训练。

    Feb, 2019