Apr, 2021

ZeRO-Infinity：打破 GPU 内存壁垒，满足极端规模的深度学习

PDF
TL;DR该论文提出了一项新的异构系统技术，称为 ZeRO-Infinity，它可以在有限的资源上实现前所未有的模型规模，同时实现出色的训练吞吐量和可扩展性，并且无需重构模型代码，是一个可以应用于当前 GPU 集群的技术。
deep learningmodel scalegpu memoryparallelism techniqueszero-infinity
发现论文，激发创造
  • ZeRO: 面向训练万亿参数模型的内存优化

    本文描述了一种名为 ZeRO 的内存优化算法，可以有效地缩短大型深度学习模型的训练时间，并提高模型大小和通讯效率。该算法在 400 个 GPU 上训练了超过 1000 亿参数的大型模型，提供了比现有技术更高的性能和可用性。

    Oct, 2019

  • ZeRO-Offload: 亿级模型训练的民主化

    ZeRO-Offload 通过将数据和计算卸载到 CPU，最大化 GPU 内存节省，减少 CPU 计算时间的同时提高算力，解决了大规模模型训练所需的高昂费用，可让普通数据科学家在仅拥有单个 GPU 的情况下训练超过 70 亿参数的模型。

    Jan, 2021

  • 差分隐私下的零冗余分布式学习

    使用 DP-ZeRO 系统化解决可训练的巨大 DP 模型的问题，实现深度学习和大型模型的隐私保护训练。

    Nov, 2023

  • 使用小型 GPU 群集训练一个大型语言模型

    该研究提出了一种名为 Elixir 的并行异构训练系统，它在操作符的粒度上生成并行化计划，采用分层分布式内存管理方案以加速 GPU 间通信和 CPU-GPU 数据传输，并且实现了新型模型并行化的灵活性和高效性。

    Dec, 2022

  • 大型语言模型预训练的高效参数搜索和并行性扩展研究

    研究项目侧重于并行和分布式机器学习算法的开发，特别是优化数据处理和预训练一组包括 5 个编码解码器 LLM（从 5.8 亿到 130 亿个参数不等）。我们进行了一项细致的研究，以量化三种机器学习并行性方法之间的关系，特别是探索了微软 DeepSpeed Zero Redundancy Optimizer (ZeRO) 阶段。

    Oct, 2023

  • DeepSpeed 推理：在前所未有的规模下实现 Transformer 模型的高效推理

    本文介绍了 DeepSpeed Inference 这一全面的转换模型推断系统解决方案，以解决目前多样化的转换模型在推断时遇到的挑战，包括多 GPU 推断方案，利用 CPU 和 NVMe 内存进行异构推断以及在实时延迟限制下运行万亿级别的推断等，并且可以比 GPU-only 解决方案处理规模大 25 倍的模型，同时提供高吞吐量。

    Jun, 2022

  • 探索共享内存体系结构的端到端千亿像素深度学习

    尝试使用 M1 Ultra SoC 中的共享 GPU/CPU 内存体系结构来解决医学图像领域深度学习模型开发时 GPU 内存资源饱和的问题，通过一种修改后的 U-Net 模型，成功地对具有 10 亿像素的 WSIs 进行了 1 分钟和 21 秒的训练，并获得了高达 0.989 的 Dice 得分，从而可望促进 WSI-wise 端到端深度学习的发展。

    Apr, 2023

  • ZeRO++：巨型模型训练的极高效集体通信

    本文介绍了三种通信量减少技术，目标是针对 ZeRO 中的每个通信集合，共同提高 ZeRO ++ 的有效吞吐量，减少 ZeRO 的通信量，并允许在 384 个 GPU 规模下提高最多 2.16 倍的吞吐量。

    Jun, 2023

  • 基于混合精度的高可扩展深度学习训练系统：四分钟内训练 Imagenet

    提出了一个用于 GPU 集群的高度可扩展的深度学习训练系统，其中包括采用混合精度训练的方法、优化极大 mini-batch size 的方法、采用高度优化的全约约算法等，这些方法的使用将深度学习训练的吞吐量和精度取得了很好的平衡。

    Jul, 2018

  • 用于大规模深度学习广告系统的分布式层次 GPU 参数服务器

    论文介绍了一种利用分布式 GPU 层次结构参数服务器进行深度学习广告系统的方法，旨在解决海量数据、大规模深度网络训练领域所面临的空间和性能上的挑战。通过实验证明，该系统在训练速度和性价比等方面都比 MPI-cluster 架构更加优越。

    Mar, 2020