Apr, 2023

PyTorch FSDP: 全分片数据并行扩展的经验

PDF
TL;DR本文介绍了 PyTorch 全面分片数据并行 (FSDP) 作为大模型训练的行业级解决方案，并展示了它在优化资源利用方面的性能，这使得 FSDP 能够同时支持大模型以及 TFLOPS 的线性可伸缩性。
large modelsmachine learningpytorchparallel trainingresource optimization
发现论文，激发创造
  • PyTorch Distributed：加速数据并行训练的经验

    本文介绍了 PyTorch 分布式数据并行模块的设计、实现和评估，该模块可用于深度学习中的模型训练与可扩展性问题。

    Jun, 2020

  • GShard：通过条件计算和自动分片扩展巨型模型

    利用 GShard 能够高效地扩展神经网络规模，支持多语言机器翻译，使得能够在 4 天内用 TPU v3 加速器训练 600 亿参数的模型，并且在从 100 种语言翻译成英语方面的性能要明显优于之前的工作。

    Jun, 2020

  • Mesh-TensorFlow：用于超级计算机的深度学习

    本文介绍了 Mesh-TensorFlow，一种用于实现一般分布式张量计算的语言，以代替传统的数据并行策略，从而支持更大的模型训练和更高的效率。通过应用 Mesh-TensorFlow 实现了一个数据并行、模型并行的 Transformer 模型，最终在 WMT'14 英法翻译任务和亿级语言建模基准测试上实现了最优性能。

    Nov, 2018

  • GSPMD: 用于 ML 计算图的通用可扩展并行化

    GSPMD 是一种自动的、基于编译器的并行化系统，可用于对机器学习计算进行并行处理，它使用少量标注进行张量分布，能够在各种模型上表达不同的并行化范式，并解决了多个技术挑战，可在具有万亿级参数的模型上实现 50％至 62％的计算利用率。

    May, 2021

  • Saturn：面向大规模模型深度学习工作负载的优化数据系统

    大型语言模型与模型并行化的信息系统架构（SPASE）降低了模型选择运行时间。

    Sep, 2023

  • 数据并行训练中的跨副本权重更新分片自动化

    该研究提出一种自动切分权重计算的方法，避免了权重变量维度不可切分而导致的性能和可扩展性问题。研究表明，这种技术在典型的图片和语言模型上都能显著提高性能，并帮助我们在 Google 的 MLPerf 0.6 竞赛中获得了表现最好的结果。

    Apr, 2020

  • 使用自动数据流图分区支持非常大的模型

    Tofu 是一个系统，它可以将超大的 DNN 模型分割到多个 GPU 设备上以减少每个 GPU 的内存占用，该系统采用数据流图的方式透明地与 MXNet 等通用深度学习平台配合使用，通过一种描述算子语义的简单语言，实现自动划分。通过递归搜索算法来优化划分，并在 8-GPU 机器上的实验中展现了训练超大 CNN 和 RNN 模型的能力，在速度方面则比其他方法提高了 25% 至 400%。

    Jul, 2018

  • 长文本生成 AI 的统一序列并行算法

    通过比较序列并行性的通信和内存成本，本文提出了一种统一的序列并行性方法，适用于 Transformer 模型架构和网络硬件拓扑，实现了对长序列的生成 AI 模型的更好性能。

    May, 2024

  • DSP: 多维 Transformer 的动态序列并行化

    通过动态序列并行化实现多维 Transformer 模型的高效并行计算，提升了 42.0% 至 216.8% 的整体吞吐量。

    Mar, 2024

  • MP-SL：多跳并行分割学习

    多跳并行分裂学习（MP-SL）是一个模块化且可拓展的机器学习作为服务（MLaaS）框架，旨在促进资源受限设备参与分布式协作的机器学习模型训练，通过将模型分割为多个部分并利用多个计算节点以流水线方式进行训练，以减轻计算节点的内存需求，具有处理系统异构性的能力，尤其在涉及成本更低效的计算节点的场景中比水平扩展的单跳并行分裂学习设置更高效。

    Jan, 2024