moe-mamba | BriefGPT - AI 论文速递

关键词moe-mamba

搜索结果 - 1

MoE-Mamba：高效的混合专家选择性状态空间模型
将混合专家模型应用于状态空间模型可显著提高其性能，MoE-Mamba 模型在 2.2 倍的训练步骤下达到与 Mamba 相同的性能，同时保持了 Mamba 模型对 Transformer 的推理性能优势。
PDF6 months ago