Dec, 2023

Unicron: 大规模经济化自愈 LLM 训练

PDF
TL;DRUnicron 是一个用于大规模语言模型训练的高效自愈工作负载管理器，在一个 128-GPU 分布式集群上的实际部署中，它展示了与最先进方法相比高达 1.9 倍的训练效率提升，显著降低了故障恢复成本，并提高了大规模语言模型训练的可靠性。
large-scale language modelfailure recoveryworkload managertraining efficiencyreliability
发现论文，激发创造
  • 数据中心中大型语言模型开发的特征

    对大型语言模型进行了深入研究，调查了与以往任务特定的深度学习工作负载之间的差异，探索了资源利用模式，并确定了各种作业故障的影响。通过故障容忍的预训练和评估的解耦调度，提出了优化针对大型语言模型系统的潜在机会。

    Mar, 2024

  • TRANSOM: 一个高效的容错系统用于训练 LLMs

    该研究提出了一种名为 TRANSOM 的新型容错大模型训练系统，包括 TOL 自动容错与恢复机制、TEE 多维度度量自动异常检测系统和 TCE 异步访问容错与恢复技术，初步结果表明 TRANSOM 显著提高了集群上大规模语言模型训练的效率。

    Oct, 2023

  • LLM 外科医生

    通过数据驱动的预训练模型压缩方法，我们可以在不牺牲性能的情况下，对大型语言模型进行剪枝，减小模型的规模。

    Dec, 2023

  • FusionAI: 基于大规模消费级 GPU 的分布式训练和部署 LLMs

    在这篇研究论文中，我们提出了一个分散系统，利用具有隐私保护功能的消费级 GPU 在对大型语言模型进行预训练、推理和微调时发挥潜在的巨大作用。通过采用备用资源池实现计算提供者的动态加入和退出、基于硬件性能的任务调度、抽象化机器学习过程为有向无环图以实现模型和任务的通用性、抽象化中间表示和执行平台以确保各种设备和深度学习框架的兼容性等，我们的性能分析表明，50 个 RTX 3080 GPUs 的吞吐量可与 4 个昂贵的 H100 GPUs 相媲美。

    Sep, 2023

  • MegaScale：将大规模语言模型训练扩展至超过 10,000 个 GPU

    我们介绍了 MegaScale 的设计、实现和工程经验，它是一个用于在超过 10,000 个 GPU 的规模上训练大型语言模型的生产系统。我们采用了一种全栈方法，通过共同设计算法和系统组件来解决训练效率和稳定性方面的挑战，并分享了我们在确保系统稳定性方面的操作经验。

    Feb, 2024

  • MEDITRON-70B：用于大型语言模型的医学预训练扩展

    通过发布具有 7B 和 70B 参数的开源 LLMs 套件 MEDITRON，我们改进了对大规模医学 LLMs 的访问，并在多个医学测试中显示出显著的性能提升。与闭源 LLMs 相比，MEDITRON-70B 在 GPT-3.5 和 Med-PaLM 上表现优异，并且与 GPT-4 和 Med-PaLM-2 相差不到 5% 和 10%。

    Nov, 2023

  • SMART: 对于降低处理费用而言，自动缩减具有准确性保证的语言模型

    智能缩放模型在降低自然语言处理任务的推理成本方面具有显著的经济效益，通过在多个模型之间进行权衡，可以实现高质量和低成本的结果。

    Mar, 2024

  • 以 0.1% 的额外计算能力超越比例定律

    UL2R method improves scaling properties of language models with minimal extra compute, demonstrating emergent abilities on challenging BIG-Bench NLP tasks, and outperforming PaLM on many few-shot setups.

    Oct, 2022

  • 互联网上大规模语言模型的分布式推理和微调

    本研究探讨了大型语言模型在成本高效的推理和微调方面的方法，并比较了本地和分布式策略。我们开发了特殊的容错推理算法和负载平衡协议，用于自动分配设备以最大化系统总吞吐量，并展示了这些算法在 Petals 中的应用，该分散式系统能够以比离线处理快 10 倍的速度运行大型语言模型。我们通过模拟条件和跨越两大洲的真实场景对系统性能进行了评估。

    Dec, 2023

  • 大型语言模型预训练的高效参数搜索和并行性扩展研究

    研究项目侧重于并行和分布式机器学习算法的开发，特别是优化数据处理和预训练一组包括 5 个编码解码器 LLM（从 5.8 亿到 130 亿个参数不等）。我们进行了一项细致的研究，以量化三种机器学习并行性方法之间的关系，特别是探索了微软 DeepSpeed Zero Redundancy Optimizer (ZeRO) 阶段。

    Oct, 2023