May, 2024

LLM 训练中 MoE 和密集速度 - 准确性比较的再审视

PDF
TL;DR通过使用步进时间作为模型复杂度的更准确评估指标以及在 Chinchilla 计算最优设置下确定总计算预算，本研究重新审视了 Mixture-of-Experts（MoE）与密集模型之间的比较设置，并采用了 3D 分片方法来有效地运行 MoE，结果显示在速度 - 准确性权衡曲线上，MoE 在不同模型规模下始终优于密集模型。
mixture-of-expertsmoemodel complexitystep timespeed-accuracy trade-off curve
发现论文，激发创造
  • 密集训练，稀疏推断：重思混合专家语言模型的训练

    通过采用密集计算进行训练和稀疏计算进行推理的混合密集与稀疏混合模型 (DS-MoE)，在保持性能的同时实现了强大的计算和参数效率，比标准稀疏 MoE 更具参数效率，在总参数大小和性能方面与密集模型持平，而且计算成本更低。

    Apr, 2024

  • DeepSpeed-MoE: 推动混合专家推理和训练以推动下一代 AI 规模

    本文介绍了一种通过 Mixture-of-Experts 模型架构实现的深度学习模型训练及推断方案，名为 DeepSpeed-MoE。该方案通过新颖的模型压缩技术和高度优化的推断系统，在减小模型尺寸、提高能效和降低硬件资源要求等方面都有着非常显著的表现。希望通过 Sparse MoE Models 的训练和部署，开辟更多高质量模型的新方向，减少硬件资源的需求，加速模型的落地应用。

    Jan, 2022

  • 基于专家混合的高效大规模语言建模

    本文研究了自回归 MoE 语言模型在各种设置下与密集模型的规模比较，并发现除了 fine-tuning 以外，在相同预算下 MoE 模型比密集模型更加高效。该研究表明 MoE 和密集模型在任务和领域上的推广效果不同，值得进一步研究。

    Dec, 2021

  • 多任务多语种模型的可扩展高效 MoE 训练

    采用 Mixture of Experts 模型、多维并行技术和 DeepSpeed 库支持的系统，成功训练出拥有数百万参数的高效的多语言生成模型，同时提升了模型的样本效率和推断时间效率。

    Sep, 2021

  • 混合专家语言模型的快速推断与卸载

    通过参数卸载算法和利用 MoE LLMs 的固有属性提出一种新策略，使消费者硬件和免费 Google Colab 实例上能够运行 Mixtral-8x7B 型号的 MoE 语言模型。

    Dec, 2023

  • EdgeMoE: 基于 MoE 的大规模语言模型的快速设备上推断

    EdgeMoE 是面向边缘设备的第一个在设备上推理引擎，针对稀疏 LLMs 的一种流行变体，它通过在存储层次结构中策略性地分割模型，实现了内存和计算效率的提升。它使用两种创新技术来降低专家 I/O 交换的开销，经过实证评估，与竞争性基线解决方案相比，EdgeMoE 在内存节省和性能改进方面展现出显著优势。

    Aug, 2023

  • SE-MoE：一种可扩展且高效的专家混合分布式训练和推断系统

    本文提出了 SE-MoE 模型，通过引入 Elastic MoE training、2D prefetch 和 Fusion communication 等技术，实现 Mixture-of-Experts 模型在分布式、异构计算系统上的高效训练和推理，即使在非均衡任务中也可以显著提升吞吐量同时减少内存开销。作者通过实验证明，与 DeepSpeed 相比，SE-MoE 在训练和推断中的吞吐量分别提高了 33％和 13％。

    May, 2022

  • 面向推理最优的混合专家大语言模型

    基于混合专家的大型语言模型（如最近的 Mixtral 和 DeepSeek-MoE）在规模大小上显示出巨大潜力，其训练成本不会像密集变换器那样呈二次增长。然而，我们发现增加专家的数量会导致递减收益，因此我们建议将推理效率作为模型缩放定律的指标之一，以在相同性能下提供最好的解决方案。

    Apr, 2024

  • 混合专家后训练量化的研究：一个基准评估

    大型语言模型的研究中，Mixture-of-Experts（MoE）方法通过稀疏激活以更少的计算 FLOPs 实现了对 LLMs 的有效扩展，但是由于显著的内存开销，在直接应用于 MoE 模型时，后训练量化的常规方法效果较差。本文所做工作在多个维度对 MoE 结构感知的量化启发式方法进行了探索，包括从粗到细粒度、从 MoE 块到单个线性权重。研究结果揭示了关键原则：不同的 MoE 结构（如块、专家、线性层）需要不同数量的权重位数以实现有效和高效的量化。通过对两个典型 MoE 模型和六个任务进行广泛的基准测试来支持所得结论。同时，我们还引入了一些新的增强方法，以更准确地识别 MoE 量化中需要更高位数分配的关键权重，包括线性权重异常得分器和 MoE 块得分器。此外，后续实验还验证了我们在权重和激活量化方面的发现。

    Jun, 2024

  • OpenMoE: 开放混合专家语言模型的早期探索

    为了更好地帮助开源社区了解基于混合专家的大型语言模型，我们训练并发布了一系列完全开源和可复现的仅解码器类型的混合专家语言模型，参数范围从 650M 到 34B，训练语料超过 1T 个标记。我们的调查确认了基于混合专家的大型语言模型可以提供更有利的成本效益权衡，突出了未来大型语言模型发展的潜在有效性。该研究的另一个重要贡献是对我们 OpenMoE 模型中的路由机制进行深入分析，得出了三个重要发现：上下文无关专业化、早期路由学习和朝末尾丢弃。我们发现，混合专家模型中的路由决策主要基于标记 ID，与上下文相关性较小。标记对专家的分配在预训练阶段早期确定，并且在很大程度上保持不变。这种不完美的路由可能导致性能下降，尤其是在多轮对话等顺序任务中，较后出现的标记更有可能被丢弃。最后，我们根据上述观察和分析重新思考了设计。为了促进未来的混合专家语言模型发展，我们提出了减轻发现的问题并进一步改进现成混合专家语言模型设计的潜在策略。

    Jan, 2024