Jun, 2024

ME-Switch: 大型语言模型的内存高效专家切换框架

PDF
TL;DRME-Switch 是一种用于 LLM 提供的高效内存专家切换框架，通过混合精度量化，选择性地对非显著输入通道进行极低位量化，同时保持显著通道完整，从而显著减少存储需求并保持性能；此外，我们还开发了一种路由方法，通过将模型选择问题转化为领域分类问题，高效地将用户查询转发到最合适的专家。广泛的实验证明 ME-Switch 在内存效率和路由性能方面具有良好的表现。
llmsexpert switchingmixed-precision quantizationmodel size reductionrouting performance
发现论文，激发创造
  • Switch Transformers: 使用简单高效的稀疏性扩展至万亿级参数模型

    通过 Switch Transformer 和降低精度格式，本文展示了如何简化 MoE 路由算法，降低信息交流和计算成本，以及解决训练不稳定问题，并在多语言领域提高了预训练速度并推动了现有语言模型的规模扩大，以 trillion 参数为例，实现了超过 4 倍的速度提升。

    Jan, 2021

  • ST-MoE: 设计稳定且可转移的稀疏专家模型

    本文关注自然语言处理中的训练不稳定和模型精确性问题，研究提出一种设计指南，通过将一个稀疏模型扩展到 269B 参数实现了全面的迁移学习，成为第一个在各类任务中达到最先进水平的稀疏模型 (ST-MoE-32B)。

    Feb, 2022

  • 不是所有专家都是平等的：用于混合专家大型语言模型的高效专家修剪和跳过

    通过引入插拔式专家级稀疏化技术，本文主要针对 MoE LLMs 的部署效率进行了改进，提出了任务无关和任务特定的专家修剪和跳过方法，从而同时减小模型大小、增加推理速度并保持满意的性能。

    Feb, 2024

  • 混合专家后训练量化的研究：一个基准评估

    大型语言模型的研究中，Mixture-of-Experts（MoE）方法通过稀疏激活以更少的计算 FLOPs 实现了对 LLMs 的有效扩展，但是由于显著的内存开销，在直接应用于 MoE 模型时，后训练量化的常规方法效果较差。本文所做工作在多个维度对 MoE 结构感知的量化启发式方法进行了探索，包括从粗到细粒度、从 MoE 块到单个线性权重。研究结果揭示了关键原则：不同的 MoE 结构（如块、专家、线性层）需要不同数量的权重位数以实现有效和高效的量化。通过对两个典型 MoE 模型和六个任务进行广泛的基准测试来支持所得结论。同时，我们还引入了一些新的增强方法，以更准确地识别 MoE 量化中需要更高位数分配的关键权重，包括线性权重异常得分器和 MoE 块得分器。此外，后续实验还验证了我们在权重和激活量化方面的发现。

    Jun, 2024

  • 分量化专家混合 (MoQE): 低位量化和鲁棒性的互补效果

    提出了一种名为 Mixture of Quantized Experts (MoQE) 的简单权重量化方法，可以降低 Mixture of Experts (MoE) 模型的内存消耗和延迟问题，同时保持可靠的模型性能，并可在大多数情况下显著减小模型大小。

    Oct, 2023

  • SwitchHead：混合专家注意力加速变压器

    SwitchHead 是一种新颖的方法，通过使用混合专家（Mixture-of-Experts）层和较少的自注意力矩阵，减少计算和内存需求，实现与基线 Transformers 相同参数预算的语言建模性能，进而获得了墙钟速度的提升。

    Dec, 2023

  • 走向 MoE 部署：缓解专家混合（MoE）推断中的低效率

    本文提出了三种 Mixture-of-Experts （MoE）模型的优化技术，分别为动态门控、专家缓存和专家负载均衡，其中动态门控技术可以在多达 5 倍的性能提升的同时减少 GPU 内存的使用，而专家缓存技术可以通过只在 GPU 内存中缓存热门专家来减少最高可达 1.47 倍的静态内存分配。这些技术能够提高该 MoE 模型的效率并使得其更容易部署到实际应用中。

    Mar, 2023

  • 混合专家语言模型的快速推断与卸载

    通过参数卸载算法和利用 MoE LLMs 的固有属性提出一种新策略，使消费者硬件和免费 Google Colab 实例上能够运行 Mixtral-8x7B 型号的 MoE 语言模型。

    Dec, 2023

  • 内存高效的 NLLB-200：大规模多语言机器翻译模型的语言专家剪枝

    提出了一种修剪方法，可在保持翻译质量的同时，移除多语言机器翻译中不相关的习惯用语，并检测出特定语种的专家，以便使用 Sparse Mixture-of-Experts 模型在单个 GPU 上运行。

    Dec, 2022

  • QMoE：万亿参数模型的实用次比特压缩

    此研究论文介绍了一种名为 QMoE 的新的压缩和执行框架，通过可扩展的算法和 GPU 解码内核，将 1.6 万亿参数的 SwitchTransformer-c2048 模型压缩至不到 160GB（即 20 倍压缩，每个参数 0.8 个比特），在单个 GPU 上只需不到一天的时间，以较少的准确性损失实现了对廉价服务器（如 4x NVIDIA A6000 或 8x NVIDIA 3090 GPU）上的万亿参数模型的执行，并相对于理想的未压缩推理只有不到 5% 的运行时开销。

    Oct, 2023