本研究介绍了 BigDL，一种基于 Apache Spark 的分布式深度学习框架，它支持在生产数据平台上构建深度学习应用程序、直接处理生产数据，并作为端到端数据分析流水线的一部分进行部署和管理，实现了在 Spark 的功能计算模型上的分布式数据并行训练。此外，我们还分享了 BigDL 的用户如何应对挑战，如何简化端到端数据分析和深度学习流水线的搭建和部署。

Apr, 2018

基于真实世界的大规模模型训练和数据中心规模基础设施，我们展示了 14~32% 的 GPU 时间用于非重叠计算的通信。为了最小化未完成的通信延迟，在这项工作中，我们开发了一个灵活的性能建模框架来指导并行化和硬件软件共同设计策略。通过使用现代 GPU 训练硬件上的真实大规模 ML 模型套件，我们分别展示了预训练和推理场景的 2.24 倍和 5.27 倍的吞吐量提升潜力。

Oct, 2023

本论文介绍了一款软硬协同优化的分布式深度学习系统，通过使用多环通信模式和 GPU 的大规模并行计算等技术大幅度缩短了深度神经网络的训练时间，并在 Resnet-101 上取得了 33.8% 的验证精度，系统已被集成到 Tensorflow、Caffe 和 Torch 中。

Aug, 2017

该研究介绍了 Colossal-AI 系统，该系统可以将基于 Transformer 的深度学习模型训练从单个 GPU 扩展到分布式环境，实现了多种并行训练方法，提高了训练速度。

Oct, 2021

研究项目侧重于并行和分布式机器学习算法的开发，特别是优化数据处理和预训练一组包括 5 个编码解码器 LLM（从 5.8 亿到 130 亿个参数不等）。我们进行了一项细致的研究，以量化三种机器学习并行性方法之间的关系，特别是探索了微软 DeepSpeed Zero Redundancy Optimizer (ZeRO) 阶段。

Oct, 2023

本研究提出了一种基于 CPU 的深度学习引擎 SLIDE，采用智能随机算法、多核并行和工作负载优化，通过针对大规模完全连接网络的训练，相对于优化的 Tensorflow（TF）在最佳可用 GPU 上进行训练，在任何给定准确性水平下，使用仅仅一个 44 核 CPU，SLIDE 的训练速度比 TF 快 3.5 倍（1 小时与 3.5 小时相比）。在相同的 CPU 硬件上，SLIDE 比 TF 快 10 倍以上。

Mar, 2019

本文介绍了三个与系统相关的优化方案 —— 分布式批量归一化控制每个副本批量大小、输入管道优化维持模型吞吐量和二维鼓形约减加速梯度求和 —— 将这些优化相结合，在 1024 芯片 TPU v3 Pod 上以超过 105 万张 / 秒的训练吞吐量，在 2.2 分钟内将 ResNet-50 在 ImageNet 上训练到 76.3％的准确度，且没有精度降低。

Nov, 2018

使用 Tiramisu 和 DeepLabv3 + 神经网络的变体提取极端天气模式的像素级掩模。通过改进软件框架、输入管道和网络训练算法以有效地扩展 Piz Daint 和 Summit 系统上的深度学习。Tiramisu 网络具有 5300 个 P100 GPU，持续吞吐量为 21.0 PF/s，并且具有 79.0% 的并行效率。DeepLabv3 + 可扩展至 27360 个 V100 GPU，在单精度下具有 325.8 PF/s 的持续吞吐量和 90.7% 的并行效率。通过利用 FP16 Tensor Cores，DeepLabv3 + 网络的半精度版本实现了 1.13 EF/s 的峰值吞吐量和 999.0 PF/s 的持续吞吐量。

Oct, 2018

SINGA 是一个可扩展、易用的分布式深度学习平台，具有基于深度学习模型的通用层抽象的直观编程模型和具体优化技术，可在 GPU 和 CPU 上运行，在实际的多媒体应用中的应用表现出了良好的可用性和可扩展性。

Mar, 2016

GPipe 是一种管道并行库，它提供了一种高效进行模型并行化的方式，可以将不同子层序列分别放在不同的加速器上，因此可以有效地将各种不同的网络扩展到巨大的规模，并且能够实现快速的线性加速，通过对两个不同任务的训练，证明了 GPipe 的优势。

Nov, 2018