May, 2024

稀疏专家混合模型中扰动余弦路由器的统计优势

PDF
TL;DR通过对稀疏专家混合模型中余弦路由器的计算进行全面分析，我们证明当通过添加噪声到余弦路由器中的 L2 范数来稳定余弦路由器时，无论专家的结构如何，在稀疏混合模型中估计的速度可以显著提高到多项式速度。
cosine routersparse mixture of expertsrepresentation collapsepartial differential equationsperturbed cosine router
发现论文，激发创造
  • 视觉多专家中的路由器：实证研究

    该研究文章通过对计算机视觉任务中的 MoEs 中路由器的全面研究，提出了一个统一的 MoE 公式，该公式涵盖了使用两个参数化路由张量的不同 MoEs（包括基于二进制或硬分配的稀疏 MoE 和基于加权组合的软分配的稀疏 MoE），并揭示了路由器在视觉 MoE 模型中发挥至关重要作用的新见解。

    Jan, 2024

  • 稠密专家混合模型的泛化误差分析：初步研究

    在这篇论文中，我们探索了稀疏专家混合模型（Sparse MoE）在各种关键因素下的泛化误差，并从经典学习理论的角度提供了如何使用稀疏性来提高混合模型泛化性能的见解。

    Mar, 2024

  • M6-T：探索稀疏专家模型及其进展

    本文研究了稀疏专家模型中的关键因素，提出了专家原型法以改善模型质量，同时将模型规模扩大到 1 万亿参数，实现了与 TPU 相同的加速。

    May, 2021

  • 稀疏专家混合模型的表示崩溃

    该研究提出了一种在低维超球面上估计令牌和专家之间路由得分的方法，克服了表示塌陷问题并取得了更为一致路由的实验结果。

    Apr, 2022

  • 混合专家模型的对抗鲁棒性

    通过理论分析和实验，研究表明，相比密集的神经网络，使用稀疏的 Mixture of Expert 模型具有更好的鲁棒性，可以抵抗对抗性的攻击，这使得它们成为增强学习等应用中的有力工具。

    Oct, 2022

  • Mixture of Experts 的稳定路由策略

    本文提出了一种两个阶段的 StableMoE 方法来解决现有的学习路由 Moe 方法中的路由波动问题，并通过在语言模型和多语言机器翻译上的实验验证了该方法的有效性。

    Apr, 2022

  • SpeechMoE：使用动态路由混合专家扩展大规模声学模型

    本文提出一种基于 MoE 的语音识别模型 SpeechMoE，引入稀疏 L1 损失和平均重要性损失来控制路由器激活的稀疏性和提高门值的多样性，并使用了新的路由器架构，可以同时利用共享嵌入网络的信息和不同 MoE 层的分层表示。实验结果表明，该模型在计算成本可比的情况下，相对于传统的静态网络，可以提供 7.0％-23.0％的相对 CER 改进。

    May, 2021

  • HyperRouter: 面向稀疏专家混合的高效训练和推理

    通过固定的超网络和可训练嵌入层动态生成路由器参数的方式，HyperRouter 在训练和冻结过程中学习优化路由策略，从而在各项任务上展现出明显的性能提升和效率增益。

    Dec, 2023

  • CompeteSMoE - 通过竞争有效训练稀疏专家混合模型

    通过引入竞争机制来解决稀疏专家混合（SMoE）的表示坍塌问题，我们提出了 CompeteSMoE 算法，通过部署一个简单的路由器来预测竞争结果，从而在保持低计算开销的同时实现了强大的性能提升。我们在两个变压器架构和各种任务上进行了广泛的实证评估，表明 CompeteSMoE 相对于最先进的 SMoE 策略而言具有高效性、鲁棒性和可扩展性。

    Feb, 2024

  • 带有专家路由选择的专家混合模型

    我们提出了一种基于专家选择的异构专家混合模型，通过让专家选择前 k 个标记来分配变量数量的专家，从而提高了训练收敛速度，并在 GLUE 基准测试中取得更高的性能。

    Feb, 2022