Jun, 2024

通用检查点：大规模分布式训练的高效灵活检查点

PDF
TL;DR分布式训练中现有的检查点方法对于硬件限制来说似乎并不适用，虽然模型并行（即在多个加速器上分割模型状态）是模型扩展的要求。为了解决这个问题，我们提出了一种名为 “通用检查点” 的技术，它在提供高效的检查点创建的同时，使得可以在任意并行策略和硬件配置上恢复训练，从而为大规模训练解锁了前所未有的能力。
checkpointingdistributed trainingmodel parallelismuniversal checkpointingresilience to hardware failures
发现论文，激发创造
  • DataStates-LLM：大型语言模型的惰性异步检查点

    LLMs 在高维度计算机基础设施上进行训练和数据导入，为了解决大规模训练中的意外事件对学习造成的负面影响，研究如何减少 I/O 开销，提出了一种懒惰异步多级方法，通过复制模型数据的内容来降低训练过程中的干扰，实验结果显示其比现有的检查点方法具有高达 48 倍的检查点速度和 2.2 倍的全程训练时间。

    Jun, 2024

  • Colossal-Auto：大规模模型并行化和激活检查点的统一自动化

    提出一种可同时优化分布式执行和渐进式检查点规划的系统，以支持在给定硬件上最小代码更改的情况下对模型进行并行训练，并提供易于使用的符号分析器生成任何 PyTorch 模型的内存和计算统计信息。

    Feb, 2023

  • 失败训练：并行机器学习训练中数据一致性的影响

    通过放宽数据一致性并使用不同的参数服务器配置，本研究探讨了在并行机器学习训练期间的故障容忍性。结果表明，使用无状态参数服务器方法，即使使用过期的权重和梯度，系统仍能保持收敛，并在面临故障时提高准确性，但链式复制和检查点技术则在准确度上受到影响。这些结果表明，在服务器宕机期间允许工作节点持续生成更新，并稍后应用这些更新可以有效提高硬件利用率。此外，尽管资源使用较高，与标准检查点方法相比，无状态参数服务器方法在硬件使用方面具有类似的经济成本，这是由于常见云服务提供商的定价结构所致。

    Jun, 2024

  • UniPT: 通用并行调优的高效参数和内存迁移学习

    提出了一种名为 Universal Parallel Tuning (UniPT) 的新型内存高效 PETL 策略，通过轻量级的可学习并行网络进行传输过程，减少内存消耗，并在不同架构上在低内存场景下实现更高的性能。

    Aug, 2023

  • ExCP：通过权重和动量联合缩小实现极限 LLM 检查点压缩

    本文提出了一种新的 Extreme Checkpoint Compression（ExCP）框架，通过计算相邻检查点的残差和利用权重 - 动量联合收缩方法来压缩检查点的存储空间，并利用非均匀量化进一步减小存储空间，实现了大规模语言模型的高效训练和压缩。

    Jun, 2024

  • FastPersist：加速深度学习中的模型检查点

    FastPersist 通过结合 NVMe 的优化、有效的写并行化以及与独立的训练计算重叠的检查点创建方式，实现了在持久存储中创建检查点的加速，相比基线方法快速 116 倍，并实现了每次迭代检查点的无可忽略开销。

    Jun, 2024

  • 数据并行训练中的跨副本权重更新分片自动化

    该研究提出一种自动切分权重计算的方法，避免了权重变量维度不可切分而导致的性能和可扩展性问题。研究表明，这种技术在典型的图片和语言模型上都能显著提高性能，并帮助我们在 Google 的 MLPerf 0.6 竞赛中获得了表现最好的结果。

    Apr, 2020

  • 保存检查点线性组合提高一致性和扩散模型性能

    利用合适的检查点平均系数， LCSC 方法能够通过沿训练轨迹结合检查点来增强 DM 和 CM 的性能，以降低训练成本并提高预先训练模型的生成质量。

    Apr, 2024

  • 稀疏循环利用：从密集检查点训练专家混合模型

    提出了一种简单的方法，即利用密集型模型的检查点初始化稀疏模型，从而重复利用一次训练的成本，实现计算效率和准确性的平衡。

    Dec, 2022

  • 从单个训练过程中的检查点集成：集成方法

    本文介绍了一种名为 Checkpoint Ensembles 的技术，它能够在单个训练过程中生成集成模型，使用此技术可以解决神经网络样本数据过小、采样噪声问题导致的训练数据误差。该方法通过检查点 ensemble 的方式融合了 validation set 和 ensemble models，实验证明 Checkpoint Ensembles 的表现优于其他方法。

    Oct, 2017