Sep, 2023

弹性分布式训练大型模型的管道模板

PDF
TL;DROobleck 采用规划执行的共同设计方法，通过生成一组异构的流水线模板，并实例化至少 f+1 个逻辑上等效的流水线副本以容忍 f 个同时故障，依赖于副本之间已复制的模型状态快速恢复，并保证在 f 个或更少的同时故障后，初始创建的流水线模板可以覆盖所有可用资源，从而始终避免资源闲置。在具有数十亿个参数的大规模 DNN 模型上的评估表明，Oobleck 提供了一致高吞吐量，并且比像 Bamboo 和 Varuna 这样的最新故障容错解决方案表现优越，提升了 13.9 倍。
发现论文，激发创造
  • SlipStream: 分布式训练大规模 DNN 中的流水线调整

    SlipStream 是一种在分布式培训系统中有效处理失败的系统，利用功能冗余和管道调度内的泡沫，通过两种优化实现连续培训并最小化或消除训练吞吐量降低。

    May, 2024

  • DAPPLE：一个用于训练大模型的流水线数据并行方法

    提出了一种称为 DAPPLE 的同步训练框架，它将数据并行和管道并行相结合，采用新颖的并行化策略规划器解决了分区和放置问题，并探索了数据和管道并行的最佳混合策略。与 GPipe 相比，DAPPLE 运行时间提高了 1.6 倍的训练吞吐量，并将内存消耗降低了 12%。

    Jul, 2020

  • GPipe：使用流水线并行化高效训练巨型神经网络

    GPipe 是一种管道并行库，它提供了一种高效进行模型并行化的方式，可以将不同子层序列分别放在不同的加速器上，因此可以有效地将各种不同的网络扩展到巨大的规模，并且能够实现快速的线性加速，通过对两个不同任务的训练，证明了 GPipe 的优势。

    Nov, 2018

  • Biathlon: 利用模型弹性优化加速 ML 推理管道

    介绍了一种名为 Biathlon 的新型 ML 服务系统，利用模型的韧性并确定每个聚合特征的最佳近似度，实现了最大速度提升，同时确保准确性损失的保证边界。通过在工业应用和数据科学竞赛中的实际管道上评估 Biathlon，证明了其在满足实时延迟要求方面的能力，实现了 5.3 倍至 16.6 倍的速度提升，几乎没有准确性损失。

    May, 2024

  • 鲁棒语言模型的伪 OOD 训练

    本文提出 POORE - POsthoc pseudo-Ood REgularization 框架，通过在内部数据中生成伪 OOD 数据进行 fine-tune，通过引入新的正则化损失来分离 IND 和 OOD 数据的嵌入，提高了 OOD 预测任务的准确度，相较现有方法在三个实际对话系统上获得了最新的技术进展。

    Oct, 2022

  • Chimera: 用双向管道高效地训练大规模神经网络

    本研究提出了一种名为 Chimera 的新型管道并行方案，采用双向管道以有效训练大型深度学习模型，该方法是一种同步方法，相对于异步方法更加收敛友好，相对于最新的同步并行方法，Chimera 可以将冒泡数量减少多达 50％ 。在基于 Transformer 的语言模型上进行评估，对于在 Piz Daint 超级计算机的 2,048 个 GPU 节点上运行的 13 亿参数的 GPT-2 模型，Chimera 将训练吞吐量提高了 1.16 倍 - 2.34 倍。

    Jul, 2021

  • 基于 Bauplan 和 Nessie 的可重现数据湖数据科学：可回放数据流水线

    介绍了在面临数据湖中数据工作负载可重现性的挑战时，Bauplan 在解决此问题方面的最新进展，通过将计算与数据管理解耦，并利用具有 Git 语义的开源目录 Nessie 以及云运行时，展示了系统提供时间旅行和分支语义以及通过少数 CLI 命令实现完整的管道可重现性的能力。

    Apr, 2024

  • 分布鲁棒模型的元分析

    通过 meta-analysis，我们发现具有良好 OOD 鲁棒性的最佳表现的模型都具有四个共同点，即视觉 - 语言预训练具有巨大的潜力。

    Jun, 2022

  • PipeTransformer: 基于自动化弹性管道的 Transformers 分布式训练

    本研究提出了 PipeTransformer 来提高 Transformer 模型的多节点分布式训练效率，该方法通过自动化管线处理和数据并行来动态调整管线和并行策略，从而实现层的冻结和资源分配，结果表明 PipeTransformer 相较于现有算法可以提高 2.4 倍速度。

    Feb, 2021

  • 神经网络的鲁棒性外部分布检测

    本文主要研究深度学习模型在检测 in-distribution 和 OOD inputs 时受到极小对抗扰动的影响，并提出了一种名为 ALOE 的有效算法，该算法通过将模型暴露于经过对抗训练的 inlier 和 outlier examples 中的方式，可以灵活地与现有方法相结合，提高现有的 Out-of-distribution detection 方法的鲁棒性，CIFAR-10 和 CIFAR-100 数据集的 AUROC 分别提高了 58.4% 和 46.59%。

    Mar, 2020