Nov, 2018

Mesh-TensorFlow：用于超级计算机的深度学习

PDF
TL;DR本文介绍了 Mesh-TensorFlow，一种用于实现一般分布式张量计算的语言，以代替传统的数据并行策略，从而支持更大的模型训练和更高的效率。通过应用 Mesh-TensorFlow 实现了一个数据并行、模型并行的 Transformer 模型，最终在 WMT'14 英法翻译任务和亿级语言建模基准测试上实现了最优性能。
发现论文，激发创造
  • 使用 Megatron-LM 在 GPU 集群上高效训练大规模语言模型

    本论文提出了一种新的并行计算方法（并行、管道、数据并行），并探讨了不同并行计算方法之间的权衡取舍，可使模型达到拥有万亿参数的级别，提高了 10％的吞吐量，是现有方法的可比内存占用率。在 3072 个 GPU 上完成了 1 万亿参数模型的训练，每个 GPU 的吞吐量达到了理论峰值的 52％。

    Apr, 2021

  • 探索在 Google TPUs 上进行 ML 训练的并发限制

    本文提出了一些技术来在 Google TPU Multipod 上扩展 ML 模型，讨论了模型并行处理，解决数据并行处理中批处理大小的扩展限制，以及一些性能优化方法，并用 TensorFlow 和 JAX 框架进行了演示，同时给出了 MLPerf-v0.7 竞赛结果，获得了四个 MLPerf 模型的最快训练时间记录。

    Nov, 2020

  • GSPMD: 用于 ML 计算图的通用可扩展并行化

    GSPMD 是一种自动的、基于编译器的并行化系统，可用于对机器学习计算进行并行处理，它使用少量标注进行张量分布，能够在各种模型上表达不同的并行化范式，并解决了多个技术挑战，可在具有万亿级参数的模型上实现 50％至 62％的计算利用率。

    May, 2021

  • HammingMesh：用于大规模深度学习的网络拓扑结构

    通过分析大规模深度学习训练的工作量，我们设计了一种网络拓扑结构 HammingMesh，它支持两个方向的并行计算，提供高带宽和灵活的作业调度，将为未来需要极高带宽的大规模深度学习系统提供强大的支持。

    Sep, 2022

  • 通过人工合成的中间标签进行分区神经网络训练

    通过将模型划分到多个 GPU 上并生成合成中间标签来训练各个部分，以减少数据通信和保持模型准确性为目标，该研究证实了该方法在减少内存和计算需求的同时实现了类似传统训练方法的测试准确性，从而减轻了训练大型神经网络的资源密集性，为更高效的深度学习模型开发铺平了道路。

    Mar, 2024

  • 基于多 GPU 平台的模型并行的高效稳健的 DNN 训练

    该论文提出了一种基于 SpecTrain 的管道模型并行执行方法，可以在保持训练准确性的前提下，实现高 GPU 利用率，相比数据并行法可提高 8.91 倍的速度。

    Sep, 2018

  • 利用网络内聚合扩展分布式机器学习

    SwitchML 是一种通信基元，通过使用可编程交换机数据平面执行培训过程的关键步骤，从而将来自多个网络工作人员的模型更新聚合，与终端主机协议和 ML 框架共同设计以提供高效解决方案，最多可将培训速度加速 5.5 倍。

    Feb, 2019

  • 深度神经网络的数据和模型并行化之外

    本文提出了一个名为 SOAP 的深度神经网络并行化搜索空间，并使用指导性随机搜索来发现特定并行计算机的快速并行化策略，并提出了一种新型执行模拟器，可精确预测并行化策略的性能，可将训练吞吐量提高多达 3.8 倍，并提高了可扩展性。

    Jul, 2018

  • ML/DL 模型中数据流图的自动任务并行化

    我们提出了一种基于关键路径的线性聚类方法，利用机器学习数据流图中的并行路径来优化图的结构，从而加速串行执行速度，并在编译和运行时优于一些当前机制。

    Aug, 2023

  • TensorFlow：大规模机器学习系统

    TensorFlow 是一个机器学习系统，使用数据流图表示计算，共享状态以及操作，支持训练和推理深度神经网络等应用，并在多种真实世界应用中取得了出色的性能表现。

    May, 2016