Jun, 2024

混合专家调查

HTML
PDF
TL;DR大型语言模型（LLMs）通过其巨大的模型规模、丰富多样的数据集和庞大的计算能力的训练，获得了在自然语言处理、计算机视觉等领域的前所未有的进展。混合专家（MoE）作为一种有效的方法，以最小计算开销显著扩展模型容量，受到学术界和行业的广泛关注。本调查旨在弥补对MoE文献缺乏系统全面综述的空白，为研究人员深入探讨MoE的复杂性提供重要资源。我们首先简要介绍MoE层的结构，然后提出了新的MoE分类法。接下来，我们概述了各种MoE模型的核心设计，包括算法和系统方面，以及可用的开源实现、超参数配置和实证评估的集合。此外，我们还勾画了MoE在实践中的多方面应用，并概述了一些未来研究的潜在方向。为促进MoE研究中最新进展的持续更新和共享，我们创建了一个资源存储库，可访问此https网址。
发现论文，激发创造
  • 基于专家混合的高效大规模语言建模

    本文研究了自回归 MoE 语言模型在各种设置下与密集模型的规模比较，并发现除了 fine-tuning 以外，在相同预算下 MoE 模型比密集模型更加高效。该研究表明 MoE 和密集模型在任务和领域上的推广效果不同，值得进一步研究。

    Dec, 2021

  • 稀疏专家混合下的视觉语言模型扩展

    本研究探讨了使用稀疏门控专家组技术解决大规模视觉语言模型训练中的挑战，并在等效计算成本下实现最先进性能的潜力，通过稀疏门控专家组对模型解释性的影响及其与VLM扩展计算性能之间的折衷，本文为大规模视觉语言模型的扩展提供了宝贵的洞见，并希望能够激发对MoE在其他多模态机器学习应用中的研究。

    Mar, 2023

  • 细粒度专家混合的比例尺定律

    通过分析扩展的变量范围，我们建立了适用于细粒度混合专家模型的扩展规模定律，并利用这些规律为特定计算预算推导出最佳的训练配置，结果显示Mixture of Experts模型在规模和训练预算扩大时始终优于密集Transformer模型。此外，我们证明在几乎任何计算预算下，将专家的大小设置成与前馈层相似的常见做法并不是最优的。

    Feb, 2024

  • 不是所有专家都是平等的：用于混合专家大型语言模型的高效专家修剪和跳过

    通过引入插拔式专家级稀疏化技术，本文主要针对MoE LLMs的部署效率进行了改进，提出了任务无关和任务特定的专家修剪和跳过方法，从而同时减小模型大小、增加推理速度并保持满意的性能。

    Feb, 2024

  • 面向推理最优的混合专家大语言模型

    基于混合专家的大型语言模型（如最近的Mixtral和DeepSeek-MoE）在规模大小上显示出巨大潜力，其训练成本不会像密集变换器那样呈二次增长。然而，我们发现增加专家的数量会导致递减收益，因此我们建议将推理效率作为模型缩放定律的指标之一，以在相同性能下提供最好的解决方案。

    Apr, 2024

  • 密集训练，稀疏推断：重思混合专家语言模型的训练

    通过采用密集计算进行训练和稀疏计算进行推理的混合密集与稀疏混合模型 (DS-MoE)，在保持性能的同时实现了强大的计算和参数效率，比标准稀疏 MoE 更具参数效率，在总参数大小和性能方面与密集模型持平，而且计算成本更低。

    Apr, 2024

  • 混合专家后训练量化的研究：一个基准评估

    大型语言模型的研究中，Mixture-of-Experts（MoE）方法通过稀疏激活以更少的计算FLOPs实现了对LLMs的有效扩展，但是由于显著的内存开销，在直接应用于MoE模型时，后训练量化的常规方法效果较差。本文所做工作在多个维度对MoE结构感知的量化启发式方法进行了探索，包括从粗到细粒度、从MoE块到单个线性权重。研究结果揭示了关键原则：不同的MoE结构（如块、专家、线性层）需要不同数量的权重位数以实现有效和高效的量化。通过对两个典型MoE模型和六个任务进行广泛的基准测试来支持所得结论。同时，我们还引入了一些新的增强方法，以更准确地识别MoE量化中需要更高位数分配的关键权重，包括线性权重异常得分器和MoE块得分器。此外，后续实验还验证了我们在权重和激活量化方面的发现。

    Jun, 2024

  • 大型语言模型中混合专家的更深入研究

    Mixture-of-experts (MoE)的内在机制及行为特征的初步研究表明神经元如同细粒度专家，在参数和行为特征方面带来了一些有趣的观察，为MoE框架和其他模块化架构的未来研究提供了启示。

    Jun, 2024

  • 稀疏混合专家下的任务不可知剪枝中的专家知识多样化

    通过将模型参数增加但在执行任务时仅激活其中一部分，混合专家（MoE）架构明显提高了大型语言模型（LLMs）的性能而不增加推理成本。然而，由于专家数量增加而导致的内存消耗对于这些模型在实际应用中的部署构成了挑战。我们的经验研究发现，一些专家在预训练期间编码了冗余的知识。因此，我们提出了一种将相似专家分组并修剪以提高模型参数效率的方法。我们通过修剪Mixtral-8x7B和Mixtral-8x22B两个最先进的MoE模型来验证我们方法的有效性。评估结果显示，我们的方法在各种自然语言任务上优于其他模型修剪方法。为了便于未来研究，我们将发布我们的代码和修剪过的MoE模型。

    Jul, 2024

  • 灵活有效地将大型语言模型融入领域专家混合

    本研究解决了将训练模型整合为低成本领域专家混合（MOE）的问题。通过提供一个工具包，研究者能够灵活地使用现有模型或适配器创建MOE，并进行广泛测试以指导架构定义。其显著发现是该工具包能够大幅降低开发成本，提高模型组合的灵活性。

    Aug, 2024