Dec, 2023

HyperRouter: 面向稀疏专家混合的高效训练和推理

PDF
TL;DR通过固定的超网络和可训练嵌入层动态生成路由器参数的方式，HyperRouter 在训练和冻结过程中学习优化路由策略，从而在各项任务上展现出明显的性能提升和效率增益。
sparse mixture-of-expertscollapsing problemhyperrouterrouting methodsefficiency gains
发现论文，激发创造
  • 稀疏专家混合模型的表示崩溃

    该研究提出了一种在低维超球面上估计令牌和专家之间路由得分的方法，克服了表示塌陷问题并取得了更为一致路由的实验结果。

    Apr, 2022

  • 视觉多专家中的路由器：实证研究

    该研究文章通过对计算机视觉任务中的 MoEs 中路由器的全面研究，提出了一个统一的 MoE 公式，该公式涵盖了使用两个参数化路由张量的不同 MoEs（包括基于二进制或硬分配的稀疏 MoE 和基于加权组合的软分配的稀疏 MoE），并揭示了路由器在视觉 MoE 模型中发挥至关重要作用的新见解。

    Jan, 2024

  • 专家路由器：通过提示分类协调高效的语言模型推理

    通过引入专家路由器，我们设计了一个可以高效地编排多个专家模型的系统，以增强大规模部署和提供大语言模型的能力，并在高负载场景下实现更高的吞吐率。

    Apr, 2024

  • 自适应路由的专家软融合

    本文提出了 Soft Merging of Experts with Adaptive Routing（SMEAR）算法，通过使用加权平均的单个合并专家，避免了离散路由，同时实现了标准梯度上升训练。 SEMENT 不仅不会增加计算成本，而且比使用元数据路由或通过梯度估计学习稀疏路由的模型性能更好，同时表明通过 SMEAR 学习到的专家具有显着的特化性。

    Jun, 2023

  • 稀疏专家混合模型中扰动余弦路由器的统计优势

    通过对稀疏专家混合模型中余弦路由器的计算进行全面分析，我们证明当通过添加噪声到余弦路由器中的 L2 范数来稳定余弦路由器时，无论专家的结构如何，在稀疏混合模型中估计的速度可以显著提高到多项式速度。

    May, 2024

  • 将废料转化为价值：修正 MoE 的前 k 路由器

    使用 Sparse Mixture of Experts 模型以解决 top-k routing 机制的冗余计算和内存消耗问题，提出了 Rectify-Router，该方法包括 Intra-GPU Rectification 和 Fill-in Rectification，分别有效处理被丢弃的标记和填充问题，实验证明两者的组合可以提高 4.7% 的准确性。

    Feb, 2024

  • 带有专家路由选择的专家混合模型

    我们提出了一种基于专家选择的异构专家混合模型，通过让专家选择前 k 个标记来分配变量数量的专家，从而提高了训练收敛速度，并在 GLUE 基准测试中取得更高的性能。

    Feb, 2022

  • 用于大型稀疏模型的哈希层

    本研究通过使用哈希方法对大型 Transformer 模型中使用不同输入参数的稀疏层进行了训练，通过修改前馈层对序列中的当前标记进行哈希以便将其哈希到不同的权重集中，进一步证明此方法可以在不需要额外路由参数或负载平衡损失等的情况下超越或与 Switch Transformers 和 BASE Layers 等学习路由混合专家方法竞争，同时研究了不同的哈希技术、哈希大小和输入特征的表现，并表明了本研究的方法可以在大规模语言建模和对话任务、下游微调任务中表现出色。

    Jun, 2021

  • 径向网络：高性能大型语言模型的动态层路由

    大型语言模型在内存、延迟和能耗方面常常面临困难。本文探讨了层稀疏性的实用性，并描述了一种基于 Token 级路由的径像网络方法，以减少生成整个序列所需的计算资源，实现更大容量的网络并明显降低计算和服务成本。

    Apr, 2024

  • 多样化动态路由用于视觉任务

    该论文提出了一种名为 “Diversified Dynamic Routing” 的新型神经网络模型，通过无监督学习的方式解决了 Mixture of Experts 模型中存在的两个问题，用于在 Cityscapes 和 MS-COCO 上进行深度学习的语义分割和实例分割任务，相对于其他基准模型的表现有所提高。

    Sep, 2022