Jun, 2020

GShard：通过条件计算和自动分片扩展巨型模型

PDF
TL;DR利用 GShard 能够高效地扩展神经网络规模，支持多语言机器翻译，使得能够在 4 天内用 TPU v3 加速器训练 600 亿参数的模型，并且在从 100 种语言翻译成英语方面的性能要明显优于之前的工作。
neural network scalinggshardparallel computation patternsmultilingual machine translationtpu v3 accelerators
发现论文，激发创造
  • 数据并行训练中的跨副本权重更新分片自动化

    该研究提出一种自动切分权重计算的方法，避免了权重变量维度不可切分而导致的性能和可扩展性问题。研究表明，这种技术在典型的图片和语言模型上都能显著提高性能，并帮助我们在 Google 的 MLPerf 0.6 竞赛中获得了表现最好的结果。

    Apr, 2020

  • 预训练与搜索：利用预训练神经成本模型实现高效的嵌入表分片

    本文提出了一种有效的分片方法 ——“预训练和搜索”，使用预训练的神经成本模型作为高效的分片模拟器，并在此基础上使用在线搜索来识别最佳分片方案，实验表明，NeuroShard 可以在分片数据集上以多项改进表现，同时在实际应用中，可以取得 6.6% 的端到端训练吞吐量改进。

    May, 2023

  • GSPMD: 用于 ML 计算图的通用可扩展并行化

    GSPMD 是一种自动的、基于编译器的并行化系统，可用于对机器学习计算进行并行处理，它使用少量标注进行张量分布，能够在各种模型上表达不同的并行化范式，并解决了多个技术挑战，可在具有万亿级参数的模型上实现 50％至 62％的计算利用率。

    May, 2021

  • AutoShard: 推荐系统的自动嵌入表切片

    介绍了 Meta 中的 AutoShard，使用神经代价模型直接预测多表代价，并利用深度强化学习解决分区问题的新实践，其有效性，可转移性和效率使其适用于生产使用。

    Aug, 2022

  • 大型语言模型预训练的高效参数搜索和并行性扩展研究

    研究项目侧重于并行和分布式机器学习算法的开发，特别是优化数据处理和预训练一组包括 5 个编码解码器 LLM（从 5.8 亿到 130 亿个参数不等）。我们进行了一项细致的研究，以量化三种机器学习并行性方法之间的关系，特别是探索了微软 DeepSpeed Zero Redundancy Optimizer (ZeRO) 阶段。

    Oct, 2023

  • PyTorch FSDP: 全分片数据并行扩展的经验

    本文介绍了 PyTorch 全面分片数据并行 (FSDP) 作为大模型训练的行业级解决方案，并展示了它在优化资源利用方面的性能，这使得 FSDP 能够同时支持大模型以及 TFLOPS 的线性可伸缩性。

    Apr, 2023

  • GLaM: 使用专家混合方法高效扩展语言模型

    本文提出了一种名为 GLaM（通用语言模型）的语言模型，采用稀疏的专家混合体系结构，可以提高模型容量同时降低训练成本。该模型可规模化至 1.2 万亿参数，性能优于 GPT-3，且训练花费和计算资源开销较小。

    Dec, 2021

  • 针对大规模多语言 ASR 的端到端模型扩展

    本篇研究旨在研究 15 种任务下，训练语言模型的容量瓶颈，并发现通过增加模型参数，添加深度，以及使用大型编码器等方法可以增加训练效率。

    Apr, 2021

  • Mesh-TensorFlow：用于超级计算机的深度学习

    本文介绍了 Mesh-TensorFlow，一种用于实现一般分布式张量计算的语言，以代替传统的数据并行策略，从而支持更大的模型训练和更高的效率。通过应用 Mesh-TensorFlow 实现了一个数据并行、模型并行的 Transformer 模型，最终在 WMT'14 英法翻译任务和亿级语言建模基准测试上实现了最优性能。

    Nov, 2018

  • 探索在 Google TPUs 上进行 ML 训练的并发限制

    本文提出了一些技术来在 Google TPU Multipod 上扩展 ML 模型，讨论了模型并行处理，解决数据并行处理中批处理大小的扩展限制，以及一些性能优化方法，并用 TensorFlow 和 JAX 框架进行了演示，同时给出了 MLPerf-v0.7 竞赛结果，获得了四个 MLPerf 模型的最快训练时间记录。

    Nov, 2020