Mar, 2022

预训练语言模型的参数高效专家混合架构

PDF
TL;DR本文提出了一种参数高效的混合专家架构，通过在专家层中共享参数矩阵中心张量的信息，并通过辅助张量增加各个专家的特异性，从而通过矩阵乘积算子来实现受量子多体物理学影响的张量分解，以解决混合专家架构中存在的参数膨胀问题，实验结果表明新方法具有更好的性能和效率。
mixture-of-expertsparameter-efficientmatrix product operatorpre-trained language modelsgradient mask strategy
发现论文，激发创造
  • 推动专家混合模型的极限：非常参数高效的指令调优 MoE

    我们的研究展示了混合专家架构的多样性，即使在严格的参数约束下，也能提供稳健的性能，并通过唯一地将 MoE 架构与轻量级专家相结合，提出了极其高效的 MoE 架构，推动了 MoE 的极限。

    Sep, 2023

  • 大型语言模型中混合专家的更深入研究

    Mixture-of-experts (MoE) 的内在机制及行为特征的初步研究表明神经元如同细粒度专家，在参数和行为特征方面带来了一些有趣的观察，为 MoE 框架和其他模块化架构的未来研究提供了启示。

    Jun, 2024

  • 多任务多语种模型的可扩展高效 MoE 训练

    采用 Mixture of Experts 模型、多维并行技术和 DeepSpeed 库支持的系统，成功训练出拥有数百万参数的高效的多语言生成模型，同时提升了模型的样本效率和推断时间效率。

    Sep, 2021

  • 一种新颖的张量专家混合并行方法用于规模化专家混合训练

    本文提出一种新的混合专家神经网络架构（MoE），并采用三维混合并行算法，结合张量、专家和数据并行，进行内存和通信优化，极大地提高了 MoE 模型的训练效率和精度。

    Mar, 2023

  • 混合专家语言模型的快速推断与卸载

    通过参数卸载算法和利用 MoE LLMs 的固有属性提出一种新策略，使消费者硬件和免费 Google Colab 实例上能够运行 Mixtral-8x7B 型号的 MoE 语言模型。

    Dec, 2023

  • 基于专家混合的高效大规模语言建模

    本文研究了自回归 MoE 语言模型在各种设置下与密集模型的规模比较，并发现除了 fine-tuning 以外，在相同预算下 MoE 模型比密集模型更加高效。该研究表明 MoE 和密集模型在任务和领域上的推广效果不同，值得进一步研究。

    Dec, 2021

  • 朝着参数效率化迈进：具有动态容量的分层稀疏激活变压器

    本文提出了分层专家混合（SMoE）模型，该模型具有分层结构，可以为不同令牌分配动态容量，可用于提高机器翻译中的性能和减少参数不足问题。SMoE 在两个多语言机器翻译基准测试上表现出色，优于多个最先进的 MoE 模型。

    May, 2023

  • 稀疏混合专家下的任务不可知剪枝中的专家知识多样化

    通过将模型参数增加但在执行任务时仅激活其中一部分，混合专家（MoE）架构明显提高了大型语言模型（LLMs）的性能而不增加推理成本。然而，由于专家数量增加而导致的内存消耗对于这些模型在实际应用中的部署构成了挑战。我们的经验研究发现，一些专家在预训练期间编码了冗余的知识。因此，我们提出了一种将相似专家分组并修剪以提高模型参数效率的方法。我们通过修剪 Mixtral-8x7B 和 Mixtral-8x22B 两个最先进的 MoE 模型来验证我们方法的有效性。评估结果显示，我们的方法在各种自然语言任务上优于其他模型修剪方法。为了便于未来研究，我们将发布我们的代码和修剪过的 MoE 模型。

    Jul, 2024

  • 混合专家中改进专家专业化能力

    本文提出一种新的 MoE 的门控网络结构，类似于注意力机制，可以在任务分解方面提高性能并导致更低的熵，同时介绍了一种新的数据驱动正则化方法，可以提高专家的专业化。

    Feb, 2023

  • 预门控 MoE：用于快速可扩展的专家混合推理的算法 - 系统协同设计

    基于 transformers 的大型语言模型 (LLMs) 近年取得显著进展，其成功驱动因素是其模型规模的扩大。然而，LLMs 的计算和内存需求带来了前所未有的挑战，此研究提出 Pre-gated MoE 系统，通过算法与系统的共同设计，解决传统 MoE 体系的计算和内存问题，提高性能，降低 GPU 内存消耗，并保持与传统模型的质量水平，以高性能的方式使用单个 GPU 部署大规模 LLMs。

    Aug, 2023