LocMoE+：增强型路由器具有令牌特征感知的高效 LLM 预训练

May, 2024

LocMoE+：增强型路由器具有令牌特征感知的高效 LLM 预训练

LocMoE+: Enhanced Router with Token Feature Awareness for Efficient LLM Pre-Training

Jing Li, Zhijie Sun, Dachao Lin, Xuan He, Yi Lin...

TL;DRLocMoE + 是低成本的改进版本，通过量化和定义专家和令牌之间的关联性、实施全局级自适应路由策略以重新排列令牌以及重新估计专家容量的下限来解决 Mixture-of-Experts 架构中存在的问题，验证实验结果显示，每个专家处理的令牌数量可以减少超过 60%，在与通信优化相结合的情况下，训练效率平均提高了 5.4% 至 46.6%，在微调后，LocMoE + 在 GDAD、C-Eval 和 TeleQnA 数据集中的性能提高了 9.7% 至 14.1%。

Abstract

mixture-of-experts (MoE) architectures have recently gained increasing popularity within the domain of large language models (LLMs) due to their ability to significantly reduce training and inference overhead. Ho

mixture-of-experts large language models locmoe+tokens training efficiency

发现论文，激发创造

LocMoE：一种用于大型语言模型训练的低开销 MoE

通过转换部分节点间通信为节点内通信的路由策略，我们提出了一种新颖的负载均衡和局部性相结合的路由策略，并在 PanGu-Sigma 模型上进行了改进，实验证明该路由策略减少了每轮训练时间约 12.68% 至 22.24%，而不影响模型的准确性。

Jan, 2024

OpenMoE: 开放混合专家语言模型的早期探索

为了更好地帮助开源社区了解基于混合专家的大型语言模型，我们训练并发布了一系列完全开源和可复现的仅解码器类型的混合专家语言模型，参数范围从 650M 到 34B，训练语料超过 1T 个标记。我们的调查确认了基于混合专家的大型语言模型可以提供更有利的成本效益权衡，突出了未来大型语言模型发展的潜在有效性。该研究的另一个重要贡献是对我们 OpenMoE 模型中的路由机制进行深入分析，得出了三个重要发现：上下文无关专业化、早期路由学习和朝末尾丢弃。我们发现，混合专家模型中的路由决策主要基于标记 ID，与上下文相关性较小。标记对专家的分配在预训练阶段早期确定，并且在很大程度上保持不变。这种不完美的路由可能导致性能下降，尤其是在多轮对话等顺序任务中，较后出现的标记更有可能被丢弃。最后，我们根据上述观察和分析重新思考了设计。为了促进未来的混合专家语言模型发展，我们提出了减轻发现的问题并进一步改进现成混合专家语言模型设计的潜在策略。

Jan, 2024

AdaMoE：自适应令牌路由与零专家混合专家语言模型

透過引入 AdaMoE 實現標記自適應路由，該方法可以在不增加顯著開銷的情況下提升模型容量，並且可以減少平均專家負載（FLOPs）並達到更好的性能。

Jun, 2024

视觉多专家中的路由器：实证研究

该研究文章通过对计算机视觉任务中的 MoEs 中路由器的全面研究，提出了一个统一的 MoE 公式，该公式涵盖了使用两个参数化路由张量的不同 MoEs（包括基于二进制或硬分配的稀疏 MoE 和基于加权组合的软分配的稀疏 MoE），并揭示了路由器在视觉 MoE 模型中发挥至关重要作用的新见解。

Jan, 2024

大型语言模型中混合专家的更深入研究

Mixture-of-experts (MoE) 的内在机制及行为特征的初步研究表明神经元如同细粒度专家，在参数和行为特征方面带来了一些有趣的观察，为 MoE 框架和其他模块化架构的未来研究提供了启示。

Jun, 2024

令牌混合：通过跨样本聚合实现高效的 LLMs

提出了一种全可微分的模型，称为 Mixture of Tokens，它在避免了 Mixture of Experts 模型的困难的同时保留了其优点，通过在专家之前混合来自不同示例的标记，使模型能够从所有标记 - 专家组合中学习。此方法与大型语言模型的训练和推理完全兼容。

Oct, 2023

Mixture of Experts 的稳定路由策略

本文提出了一种两个阶段的 StableMoE 方法来解决现有的学习路由 Moe 方法中的路由波动问题，并通过在语言模型和多语言机器翻译上的实验验证了该方法的有效性。

Apr, 2022

带有专家路由选择的专家混合模型

我们提出了一种基于专家选择的异构专家混合模型，通过让专家选择前 k 个标记来分配变量数量的专家，从而提高了训练收敛速度，并在 GLUE 基准测试中取得更高的性能。

Feb, 2022

SpeechMoE：使用动态路由混合专家扩展大规模声学模型

本文提出一种基于 MoE 的语音识别模型 SpeechMoE，引入稀疏 L1 损失和平均重要性损失来控制路由器激活的稀疏性和提高门值的多样性，并使用了新的路由器架构，可以同时利用共享嵌入网络的信息和不同 MoE 层的分层表示。实验结果表明，该模型在计算成本可比的情况下，相对于传统的静态网络，可以提供 7.0％-23.0％的相对 CER 改进。

May, 2021

GW-MoE：应用全局工作空间理论解决 MoE 路由器中的不确定性

通过使用全局工作空间理论，我们提出了 GW-MoE，一个新的微调方法，以解决 Mixture-of-Experts（MoE）模型中的不确定路由结果问题，并在不同任务和模型规模下验证其有效性。

Jun, 2024