Feb, 2024

将废料转化为价值：修正 MoE 的前 k 路由器

PDF
TL;DR使用 Sparse Mixture of Experts 模型以解决 top-k routing 机制的冗余计算和内存消耗问题，提出了 Rectify-Router，该方法包括 Intra-GPU Rectification 和 Fill-in Rectification，分别有效处理被丢弃的标记和填充问题，实验证明两者的组合可以提高 4.7% 的准确性。
sparse mixture of expertstop-k routing mechanismrectify-routerintra-gpu rectificationfill-in rectification
发现论文，激发创造
  • 带有专家路由选择的专家混合模型

    我们提出了一种基于专家选择的异构专家混合模型，通过让专家选择前 k 个标记来分配变量数量的专家，从而提高了训练收敛速度，并在 GLUE 基准测试中取得更高的性能。

    Feb, 2022

  • 视觉多专家中的路由器：实证研究

    该研究文章通过对计算机视觉任务中的 MoEs 中路由器的全面研究，提出了一个统一的 MoE 公式，该公式涵盖了使用两个参数化路由张量的不同 MoEs（包括基于二进制或硬分配的稀疏 MoE 和基于加权组合的软分配的稀疏 MoE），并揭示了路由器在视觉 MoE 模型中发挥至关重要作用的新见解。

    Jan, 2024

  • HyperRouter: 面向稀疏专家混合的高效训练和推理

    通过固定的超网络和可训练嵌入层动态生成路由器参数的方式，HyperRouter 在训练和冻结过程中学习优化路由策略，从而在各项任务上展现出明显的性能提升和效率增益。

    Dec, 2023

  • 多语言机器翻译中修复低资源语言的 MoE 过拟合问题

    通过引入 dropout 和条件化的 MoE 路由和课程学习技术，本研究针对低资源任务下 MoE 模型的严重过拟合问题，提出有效的正则化策略，成功提高了 MoE 模型在低资源任务中的性能，并在大规模多语种机器翻译基准测试中取得了巨大的改进。

    Dec, 2022

  • LocMoE+：增强型路由器具有令牌特征感知的高效 LLM 预训练

    LocMoE + 是低成本的改进版本，通过量化和定义专家和令牌之间的关联性、实施全局级自适应路由策略以重新排列令牌以及重新估计专家容量的下限来解决 Mixture-of-Experts 架构中存在的问题，验证实验结果显示，每个专家处理的令牌数量可以减少超过 60%，在与通信优化相结合的情况下，训练效率平均提高了 5.4% 至 46.6%，在微调后，LocMoE + 在 GDAD、C-Eval 和 TeleQnA 数据集中的性能提高了 9.7% 至 14.1%。

    May, 2024

  • 稀疏专家混合模型的表示崩溃

    该研究提出了一种在低维超球面上估计令牌和专家之间路由得分的方法，克服了表示塌陷问题并取得了更为一致路由的实验结果。

    Apr, 2022

  • 门控 Dropout: 用于稀疏激活 Transformer 的通信高效正则化

    本研究提出了一种名为 Gating Dropout 的方法，它可以减少深度学习模型的跨机器通讯成本，并在多语言机器翻译任务中验证了其有效性。

    May, 2022

  • 混合专家网络中的补丁级路由对卷积神经网络具有可证明的高样本利用效率

    通过研究二层卷积神经网络的混合模型，证明相比于单个专家模型，采用基于优先级路由的 pMoE 方法可以将训练样本数的复杂度降低到 n/l 的多项式级别，并在 MNIST、CIFAR-10 和 CelebA 数据集上得到了验证。

    Jun, 2023

  • Mixture of Experts 的稳定路由策略

    本文提出了一种两个阶段的 StableMoE 方法来解决现有的学习路由 Moe 方法中的路由波动问题，并通过在语言模型和多语言机器翻译上的实验验证了该方法的有效性。

    Apr, 2022

  • AdaMoE：自适应令牌路由与零专家混合专家语言模型

    透過引入 AdaMoE 實現標記自適應路由，該方法可以在不增加顯著開銷的情況下提升模型容量，並且可以減少平均專家負載（FLOPs）並達到更好的性能。

    Jun, 2024