Jun, 2023

自适应路由的专家软融合

PDF
TL;DR本文提出了 Soft Merging of Experts with Adaptive Routing（SMEAR）算法，通过使用加权平均的单个合并专家，避免了离散路由，同时实现了标准梯度上升训练。 SEMENT 不仅不会增加计算成本，而且比使用元数据路由或通过梯度估计学习稀疏路由的模型性能更好，同时表明通过 SMEAR 学习到的专家具有显着的特化性。
neural networksmodularityroutinggradient estimationsmear
发现论文，激发创造
  • 融合然后压缩：从其路由策略中揭示高效 SMoE

    通过专家融合和神经元排列对信息进行压缩，MC-SMoE 模型实现了高效的神经网络学习，降低了内存和计算资源的需求。

    Oct, 2023

  • 难度较高的任务需要更多的专家：MoE 模型中的动态路由

    本文介绍了一种新颖的动态专家选择框架用于混合专家模型 (Mixture of Experts, MoE)，旨在通过根据输入难度调整激活的专家数量来提高计算效率和模型性能。我们的方法动态选择专家，而不是像传统 MoE 方法那样依赖固定的前 K 个路由，无论输入的复杂性如何，都会激活预定数量的专家。通过广泛的评估，我们的动态路由方法在各种基准测试中显示出明显的改进，相对于常规的前 2 个路由平均改进了 0.7%，激活参数不到 90%。进一步的分析显示，我们的模型向需要复杂推理技能的任务派遣更多的专家，如 BBH，验证了它根据输入的复杂性动态分配计算资源的能力。我们的发现还凸显了变压器模型不同层之间所需专家数量的差异，为设计异构 MoE 框架提供了洞察。代码和模型可在给定的 https URL 提供。

    Mar, 2024

  • M6-T：探索稀疏专家模型及其进展

    本文研究了稀疏专家模型中的关键因素，提出了专家原型法以改善模型质量，同时将模型规模扩大到 1 万亿参数，实现了与 TPU 相同的加速。

    May, 2021

  • 带有专家路由选择的专家混合模型

    我们提出了一种基于专家选择的异构专家混合模型，通过让专家选择前 k 个标记来分配变量数量的专家，从而提高了训练收敛速度，并在 GLUE 基准测试中取得更高的性能。

    Feb, 2022

  • 视觉多专家中的路由器：实证研究

    该研究文章通过对计算机视觉任务中的 MoEs 中路由器的全面研究，提出了一个统一的 MoE 公式，该公式涵盖了使用两个参数化路由张量的不同 MoEs（包括基于二进制或硬分配的稀疏 MoE 和基于加权组合的软分配的稀疏 MoE），并揭示了路由器在视觉 MoE 模型中发挥至关重要作用的新见解。

    Jan, 2024

  • 稀疏激活的专家混合模型是具有鲁棒性的多任务学习器

    使用稀疏激活的专家混合模型和任务感知门控函数结合的多任务学习方法，成功地提高了模型泛化能力、转移学习效果和鲁棒性。

    Apr, 2022

  • 稀疏专家混合模型的表示崩溃

    该研究提出了一种在低维超球面上估计令牌和专家之间路由得分的方法，克服了表示塌陷问题并取得了更为一致路由的实验结果。

    Apr, 2022

  • 深度学习中稀疏专家模型综述

    稀疏专家模型是一种在近三十年中不断涌现的深度学习架构，通过在每个样本中使用参数子集来实现稀疏度，使参数计数与每个样本的计算分离，产生非常大但高效的模型，已在自然语言处理、计算机视觉和语音识别等领域中显著提高性能。

    Sep, 2022

  • Mixture of Experts 的稳定路由策略

    本文提出了一种两个阶段的 StableMoE 方法来解决现有的学习路由 Moe 方法中的路由波动问题，并通过在语言模型和多语言机器翻译上的实验验证了该方法的有效性。

    Apr, 2022

  • SpeechMoE：使用动态路由混合专家扩展大规模声学模型

    本文提出一种基于 MoE 的语音识别模型 SpeechMoE，引入稀疏 L1 损失和平均重要性损失来控制路由器激活的稀疏性和提高门值的多样性，并使用了新的路由器架构，可以同时利用共享嵌入网络的信息和不同 MoE 层的分层表示。实验结果表明，该模型在计算成本可比的情况下，相对于传统的静态网络，可以提供 7.0％-23.0％的相对 CER 改进。

    May, 2021