ZeRO: 面向训练万亿参数模型的内存优化

Oct, 2019

ZeRO: 面向训练万亿参数模型的内存优化

ZeRO: Memory Optimizations Toward Training Trillion Parameter Models

Samyam Rajbhandari, Jeff Rasley, Olatunji Ruwase, Yuxiong He

TL;DR本文描述了一种名为 ZeRO 的内存优化算法，可以有效地缩短大型深度学习模型的训练时间，并提高模型大小和通讯效率。该算法在 400 个 GPU 上训练了超过 1000 亿参数的大型模型，提供了比现有技术更高的性能和可用性。

Abstract

Large deep learning models offer significant accuracy gains, but training billions to trillions of parameters is challenging. Existing solutions such as data and model parallelisms exhibit fundamental limitations to fit these models into limited device memory, while obtaining computati

deep learning zero redundancy optimizer large model training memory optimization communication efficiency

发现论文，激发创造

ZeRO-Offload: 亿级模型训练的民主化

ZeRO-Offload 通过将数据和计算卸载到 CPU，最大化 GPU 内存节省，减少 CPU 计算时间的同时提高算力，解决了大规模模型训练所需的高昂费用，可让普通数据科学家在仅拥有单个 GPU 的情况下训练超过 70 亿参数的模型。

Jan, 2021

ZeRO-Infinity：打破 GPU 内存壁垒，满足极端规模的深度学习

该论文提出了一项新的异构系统技术，称为 ZeRO-Infinity，它可以在有限的资源上实现前所未有的模型规模，同时实现出色的训练吞吐量和可扩展性，并且无需重构模型代码，是一个可以应用于当前 GPU 集群的技术。

Apr, 2021

差分隐私下的零冗余分布式学习

使用 DP-ZeRO 系统化解决可训练的巨大 DP 模型的问题，实现深度学习和大型模型的隐私保护训练。

Nov, 2023

ZeRO++：巨型模型训练的极高效集体通信

本文介绍了三种通信量减少技术，目标是针对 ZeRO 中的每个通信集合，共同提高 ZeRO ++ 的有效吞吐量，减少 ZeRO 的通信量，并允许在 384 个 GPU 规模下提高最多 2.16 倍的吞吐量。

Jun, 2023

高效大规模语言模型训练的记忆和通讯成本重新思考

大尺寸建模训练，延迟均衡化，部分冗余优化器，分层重叠环，训练效率

Oct, 2023

AdaZeta：自适应零阶张量列适应方法用于内存高效的大规模语言模型微调

通过提出 Adaptive Zeroth-order Tensor-Train Adaption (AdaZeta) 框架，本文致力于改进 ZO 方法的性能和收敛性，主要关注的问题包括维度相关的 ZO 估计准确性、大规模 ZO 微调任务中的发散问题，通过详细的理论分析和实验结果论证了 AdaZeta 框架在准确性、内存效率和收敛速度方面的有效性。

Jun, 2024

大型语言模型预训练的高效参数搜索和并行性扩展研究

研究项目侧重于并行和分布式机器学习算法的开发，特别是优化数据处理和预训练一组包括 5 个编码解码器 LLM（从 5.8 亿到 130 亿个参数不等）。我们进行了一项细致的研究，以量化三种机器学习并行性方法之间的关系，特别是探索了微软 DeepSpeed Zero Redundancy Optimizer (ZeRO) 阶段。

Oct, 2023

利用仅前向传递微调语言模型

本篇论文提出了一种名为 MeZO 的零阶优化方法，以替代反向传播法来进行大规模语言模型的微调，从而实现与推理阶段相同的内存占用，该方法在理论上被认为优化大型模型的速度极慢，但本研究的实验结果表明，MeZO 能够使用少至单个 A100 80GB GPU 就能训练出具有几十亿甚至数百亿参数规模的语言模型，并在多个下游任务上与反向传播微调的性能相当。

May, 2023

ProTrain: 基于记忆感知技术的高效 LLM 训练

ProTrain 通过协调内存、计算和 IO，采用分块模型状态管理和块状激活管理，在不改变训练算法的情况下，通过内存感知的运行时分析器智能平衡内存使用和性能，相较于其他最佳训练系统，ProTrain 提高了 1.43 倍至 2.71 倍的训练吞吐量。

Jun, 2024

稀疏 MeZO: 更少参数在零阶 LLM 微调中取得更好性能

通过稀疏的零阶优化方法，提高大型语言模型的内存效率并改善性能。

Feb, 2024