Feb, 2023

TA-MoE: 拓扑感知的大规模专家混合训练

PDF
TL;DR本文提出了一种基于拓扑感知路由策略的 Sparsely gated Mixture-of-Expert 深度神经网络模型，可以根据不同的拓扑结构动态调整传输模式，并通过辅助引导学习自适应地适应拓扑结构，实验结果表明该模型在各种硬件和模型配置中比其竞争对手表现表现更好，改进了 1.01x-1.61x, 1.01x-4.77x, 1.25x-1.54x。
sparsely gated mixture-of-expertta-moetopology-aware routinglarge-scale moe trainingmodel-system co-design
发现论文，激发创造
  • LocMoE：一种用于大型语言模型训练的低开销 MoE

    通过转换部分节点间通信为节点内通信的路由策略，我们提出了一种新颖的负载均衡和局部性相结合的路由策略，并在 PanGu-Sigma 模型上进行了改进，实验证明该路由策略减少了每轮训练时间约 12.68% 至 22.24%，而不影响模型的准确性。

    Jan, 2024

  • Mixture of Experts 的稳定路由策略

    本文提出了一种两个阶段的 StableMoE 方法来解决现有的学习路由 Moe 方法中的路由波动问题，并通过在语言模型和多语言机器翻译上的实验验证了该方法的有效性。

    Apr, 2022

  • SpeechMoE：使用动态路由混合专家扩展大规模声学模型

    本文提出一种基于 MoE 的语音识别模型 SpeechMoE，引入稀疏 L1 损失和平均重要性损失来控制路由器激活的稀疏性和提高门值的多样性，并使用了新的路由器架构，可以同时利用共享嵌入网络的信息和不同 MoE 层的分层表示。实验结果表明，该模型在计算成本可比的情况下，相对于传统的静态网络，可以提供 7.0％-23.0％的相对 CER 改进。

    May, 2021

  • FastMoE: 快速混合专家训练系统

    本文提出了基于 PyTorch 的 FastMoE 分布式混合专家 (Mixture-of-Expert) 训练系统，支持多 GPU 节点上放置不同的专家，通过高效的加速技术实现高速训练，并提供了灵活的模型设计和适应性，适用于 Transformer-XL 和 Megatron-LM 等不同的应用程序

    Mar, 2021

  • 超越蒸馏：面向任务的专家混合方法实现高效推断

    该论文研究了不同粒度（令牌、句子、任务）MoE 模型中的路由策略，以绕过蒸馏。通过任务级路由（task-MoE）在 WMT 和 Web 规模数据集上进行的实验表明，我们能够从大型稀疏模型中提取更小、可部署的子网络。对于 30 种语言对，我们的 32 个专家的 task-MOE （533M 个参数）在 WMT 上的表现平均比表现最佳的令牌级 MoE 模型（token-MoE）高 1.0 BLEU。而将一个 token-MoE 蒸馏成较小的密集模型只能保留 32% 的 BLEU 收益，但通过设计，我们的子网络 task-MoE 可以保留所有收益，并且和蒸馏后的 student 模型有相同的推理成本。最后，当扩展到 200 种语言对时，我们的 128 个专家的 task-MoE（13B 个参数）表现与令牌级模型相近，并且提高了推理吞吐量 2.6 倍。

    Sep, 2021

  • 多任务多语种模型的可扩展高效 MoE 训练

    采用 Mixture of Experts 模型、多维并行技术和 DeepSpeed 库支持的系统，成功训练出拥有数百万参数的高效的多语言生成模型，同时提升了模型的样本效率和推断时间效率。

    Sep, 2021

  • 难度较高的任务需要更多的专家：MoE 模型中的动态路由

    本文介绍了一种新颖的动态专家选择框架用于混合专家模型 (Mixture of Experts, MoE)，旨在通过根据输入难度调整激活的专家数量来提高计算效率和模型性能。我们的方法动态选择专家，而不是像传统 MoE 方法那样依赖固定的前 K 个路由，无论输入的复杂性如何，都会激活预定数量的专家。通过广泛的评估，我们的动态路由方法在各种基准测试中显示出明显的改进，相对于常规的前 2 个路由平均改进了 0.7%，激活参数不到 90%。进一步的分析显示，我们的模型向需要复杂推理技能的任务派遣更多的专家，如 BBH，验证了它根据输入的复杂性动态分配计算资源的能力。我们的发现还凸显了变压器模型不同层之间所需专家数量的差异，为设计异构 MoE 框架提供了洞察。代码和模型可在给定的 https URL 提供。

    Mar, 2024

  • SE-MoE：一种可扩展且高效的专家混合分布式训练和推断系统

    本文提出了 SE-MoE 模型，通过引入 Elastic MoE training、2D prefetch 和 Fusion communication 等技术，实现 Mixture-of-Experts 模型在分布式、异构计算系统上的高效训练和推理，即使在非均衡任务中也可以显著提升吞吐量同时减少内存开销。作者通过实验证明，与 DeepSpeed 相比，SE-MoE 在训练和推断中的吞吐量分别提高了 33％和 13％。

    May, 2022

  • FlexMoE: 通过动态设备放置实现大规模稀疏预训练模型训练的扩展

    本文提出了一种名为 FlexMoE 的 DNN 训练框架，通过动态专家管理和设备布置机制，以及调度模块来优化大规模预训练模型训练过程中动态数据流所导致的效率问题，实验表明其在自然语言处理模型和视觉模型等领域具有较强的可扩展性和优越的性能。

    Apr, 2023

  • DeepSpeed-MoE: 推动混合专家推理和训练以推动下一代 AI 规模

    本文介绍了一种通过 Mixture-of-Experts 模型架构实现的深度学习模型训练及推断方案，名为 DeepSpeed-MoE。该方案通过新颖的模型压缩技术和高度优化的推断系统，在减小模型尺寸、提高能效和降低硬件资源要求等方面都有着非常显著的表现。希望通过 Sparse MoE Models 的训练和部署，开辟更多高质量模型的新方向，减少硬件资源的需求，加速模型的落地应用。

    Jan, 2022