Mar, 2024

大规模模型训练在异构集群中的调度和并行化的协同设计

PDF
TL;DRCrius 是一个用于在异构集群中以自适应并行性高效调度多个大型模型的训练系统，它通过引入称为 Cell 的新调度粒度将数据并行性和张量并行性的探索空间缩小到最小，从而实现准确且低开销的性能估计。通过选择 Cell 作为调度选择，Crius 能够运行具有优化并行性计划的作业，实验结果表明 Crius 能够将作业完成时间缩短高达 48.9%，并提高 1.49 倍的集群吞吐量。
发现论文，激发创造
  • 使用 Megatron-LM 在 GPU 集群上高效训练大规模语言模型

    本论文提出了一种新的并行计算方法（并行、管道、数据并行），并探讨了不同并行计算方法之间的权衡取舍，可使模型达到拥有万亿参数的级别，提高了 10％的吞吐量，是现有方法的可比内存占用率。在 3072 个 GPU 上完成了 1 万亿参数模型的训练，每个 GPU 的吞吐量达到了理论峰值的 52％。

    Apr, 2021

  • Colossal-Auto：大规模模型并行化和激活检查点的统一自动化

    提出一种可同时优化分布式执行和渐进式检查点规划的系统，以支持在给定硬件上最小代码更改的情况下对模型进行并行训练，并提供易于使用的符号分析器生成任何 PyTorch 模型的内存和计算统计信息。

    Feb, 2023

  • SuperScaler: 通过统一抽象支持灵活的 DNN 并行化

    SuperScaler 是一个可生成高度灵活并可实现 3.5 倍速度提升的并行化计划的系统，能够处理越来越复杂的深度神经网络结构和模型大小对 GPU 加速器的需求。

    Jan, 2023

  • Saturn：面向大规模模型深度学习工作负载的优化数据系统

    大型语言模型与模型并行化的信息系统架构（SPASE）降低了模型选择运行时间。

    Sep, 2023

  • 分布式机器学习集群中的在线作业调度

    本文针对分布式机器学习系统的调度问题，使用参数服务器框架设计了一种在线算法，以最大化所有作业的整体效用，并在跟踪驱动模拟和实验测试中证明了其优越性。

    Jan, 2018

  • 通过平衡内存负载优化改善自动并行训练

    本文介绍了一种系统框架 Galvatron-BMW，集成了多种普遍的并行性维度，并自动识别最高效的混合并行性策略，该系统在不同的 Transformer 模型下展示了 Galvatron-BMW 自动分布式训练的能力。

    Jul, 2023

  • Celeritas: 面向大型数据流图的快速优化器

    Celeritas 是一个快速的框架，通过一系列调度算法优化大型模型的设备配置，减少设备配置时间和提高运行效率。

    Jul, 2022

  • ML/DL 模型中数据流图的自动任务并行化

    我们提出了一种基于关键路径的线性聚类方法，利用机器学习数据流图中的并行路径来优化图的结构，从而加速串行执行速度，并在编译和运行时优于一些当前机制。

    Aug, 2023

  • TAP: 通过张量自动并行化加速大规模深度神经网络训练

    本文提出了一种模型并行框架 TAP，利用神经网络作为有向无环图的性质，设计了一种图剪枝算法以高效地搜索最佳的数据和张量并行计划，实验表明 TAP 比现有自动并行化框架快 20-160 倍，并且其发现的并行化计划比专家设计的计划具有竞争力。

    Feb, 2023

  • 网络敏感深度学习的 GPU 集群调度

    我们提出了一种新颖的 GPU 集群调度器，用于分布式深度学习工作负载，基于 DDL 作业对预期通信网络延迟的敏感性实现了基于邻近性的资源整合，通过经典的延迟调度算法来实现作业的放置和整合，使用数据驱动的 DDL 集群模拟平台进行了大规模实验，证明了我们设计的优势。在拥挤的网络条件下，与现有的基于整合的调度方法相比，我们的调度器可以提供多达 69% 的端到端完成时间的改进，同时将平均作业完成时间降低多达 83%，并将通信开销最小化多达 98%。

    Jan, 2024