研究项目侧重于并行和分布式机器学习算法的开发，特别是优化数据处理和预训练一组包括 5 个编码解码器 LLM（从 5.8 亿到 130 亿个参数不等）。我们进行了一项细致的研究，以量化三种机器学习并行性方法之间的关系，特别是探索了微软 DeepSpeed Zero Redundancy Optimizer (ZeRO) 阶段。

Oct, 2023

本文介绍了一种系统框架 Galvatron-BMW，集成了多种普遍的并行性维度，并自动识别最高效的混合并行性策略，该系统在不同的 Transformer 模型下展示了 Galvatron-BMW 自动分布式训练的能力。

Jul, 2023

本文提出了一个名为 SOAP 的深度神经网络并行化搜索空间，并使用指导性随机搜索来发现特定并行计算机的快速并行化策略，并提出了一种新型执行模拟器，可精确预测并行化策略的性能，可将训练吞吐量提高多达 3.8 倍，并提高了可扩展性。

Jul, 2018

该研究介绍了 Colossal-AI 系统，该系统可以将基于 Transformer 的深度学习模型训练从单个 GPU 扩展到分布式环境，实现了多种并行训练方法，提高了训练速度。

Oct, 2021

大型语言模型与模型并行化的信息系统架构（SPASE）降低了模型选择运行时间。

Sep, 2023

Crius 是一个用于在异构集群中以自适应并行性高效调度多个大型模型的训练系统，它通过引入称为 Cell 的新调度粒度将数据并行性和张量并行性的探索空间缩小到最小，从而实现准确且低开销的性能估计。通过选择 Cell 作为调度选择，Crius 能够运行具有优化并行性计划的作业，实验结果表明 Crius 能够将作业完成时间缩短高达 48.9%，并提高 1.49 倍的集群吞吐量。

Mar, 2024

我们提出了一种基于关键路径的线性聚类方法，利用机器学习数据流图中的并行路径来优化图的结构，从而加速串行执行速度，并在编译和运行时优于一些当前机制。

Aug, 2023

本文提出了一种模型并行框架 TAP，利用神经网络作为有向无环图的性质，设计了一种图剪枝算法以高效地搜索最佳的数据和张量并行计划，实验表明 TAP 比现有自动并行化框架快 20-160 倍，并且其发现的并行化计划比专家设计的计划具有竞争力。

Feb, 2023

Celeritas 是一个快速的框架，通过一系列调度算法优化大型模型的设备配置，减少设备配置时间和提高运行效率。

Jul, 2022

本文提出了 ScaleNet 模型，结合了基模型和缩放策略的搜索，利用马尔科夫链进化算法互动学习基模型的缩放策略来发展具有更加优异性能的大型模型，实验结果表明我们的放大网络在各种 FLOPs 上具有显着的性能优势，但搜索成本至少降低了 2.53 倍。

Jul, 2022