Jan, 2022

Alpa：分布式深度学习的操作员内部和操作员间并行性自动化

PDF
TL;DRAlpa 是一个自动化生成深度学习（DL）大型模型的模型并行训练执行计划的系统，它利用数据、算子和流水线并行性来生成执行计划，实现了两个层次的并行性：算子内和算子间，并且通过编译器的优化自动得出高效的并行执行计划，并在分布式计算设备上进行了成功的评估。
model-parallel trainingdeep learningparallelismdistributed computingalpa
发现论文，激发创造
  • UniAP: 统一的跨层和内层自动并行化方法：混合整数二次规划

    深度学习模型的训练时间长依然是一个关键问题，提出了自动并行化来解决这个问题，并提出了 UniAP 方法来统一内部和外部自动并行化，实验证明 UniAP 在吞吐量上超过了现有方法 1.70 倍，并且减少了搜索时间 16 倍。

    Jul, 2023

  • ML/DL 模型中数据流图的自动任务并行化

    我们提出了一种基于关键路径的线性聚类方法，利用机器学习数据流图中的并行路径来优化图的结构，从而加速串行执行速度，并在编译和运行时优于一些当前机制。

    Aug, 2023

  • Opara：利用运算符并行性加速 GPU 上的 DNN 推断

    提出了一种资源感知和干扰感知的 DNN 操作并行调度框架 Opara，以加速在 GPU 上进行 DNN 推理的执行。通过使用 CUDA Streams 和 CUDA Graph 来自动并行化多个 DNN 操作的执行，并调整操作在 GPU 上的启动顺序，以重叠计算密集型和内存密集型操作的执行，从而加速 DNN 推理。实验证明，Opara 在代表性的 DNN 和基于 Transformer 的模型上效果优于默认的顺序执行的 CUDA Graph 和最先进的 DNN 操作并行系统，分别提高了 1.68 倍和 1.29 倍，同时运行时开销可接受。

    Dec, 2023

  • Colossal-Auto：大规模模型并行化和激活检查点的统一自动化

    提出一种可同时优化分布式执行和渐进式检查点规划的系统，以支持在给定硬件上最小代码更改的情况下对模型进行并行训练，并提供易于使用的符号分析器生成任何 PyTorch 模型的内存和计算统计信息。

    Feb, 2023

  • DAPPLE：一个用于训练大模型的流水线数据并行方法

    提出了一种称为 DAPPLE 的同步训练框架，它将数据并行和管道并行相结合，采用新颖的并行化策略规划器解决了分区和放置问题，并探索了数据和管道并行的最佳混合策略。与 GPipe 相比，DAPPLE 运行时间提高了 1.6 倍的训练吞吐量，并将内存消耗降低了 12%。

    Jul, 2020

  • Saturn：面向大规模模型深度学习工作负载的优化数据系统

    大型语言模型与模型并行化的信息系统架构（SPASE）降低了模型选择运行时间。

    Sep, 2023

  • 通过平衡内存负载优化改善自动并行训练

    本文介绍了一种系统框架 Galvatron-BMW，集成了多种普遍的并行性维度，并自动识别最高效的混合并行性策略，该系统在不同的 Transformer 模型下展示了 Galvatron-BMW 自动分布式训练的能力。

    Jul, 2023

  • TAP: 通过张量自动并行化加速大规模深度神经网络训练

    本文提出了一种模型并行框架 TAP，利用神经网络作为有向无环图的性质，设计了一种图剪枝算法以高效地搜索最佳的数据和张量并行计划，实验表明 TAP 比现有自动并行化框架快 20-160 倍，并且其发现的并行化计划比专家设计的计划具有竞争力。

    Feb, 2023

  • 深度神经网络的数据和模型并行化之外

    本文提出了一个名为 SOAP 的深度神经网络并行化搜索空间，并使用指导性随机搜索来发现特定并行计算机的快速并行化策略，并提出了一种新型执行模拟器，可精确预测并行化策略的性能，可将训练吞吐量提高多达 3.8 倍，并提高了可扩展性。

    Jul, 2018

  • DiPaCo: 分布式路径组合

    通过共享模块的路径分布计算，结合降低通信的优化算法，在机器学习领域提出了一种模块化架构和训练方法，称为 DIstributed PAth COmposition (DiPaCo)，该方法在训练过程中实现对集群中性能差异较大且网络质量较差的机器进行分布式训练，从而加速了大规模学习的效率。

    Mar, 2024