ACLOct, 2021

MoEfication：Transformer 前馈层是专家混合层

PDF
TL;DR本研究探讨了预训练模型 Transformers 中前馈网络（FFN）的计算模式，提出了一种将模型 MoEfication 为多个功能分区的方法，并建立了专家路由器以决定每个输入使用哪个专家。实验结果表明，这种方法可以在保持原始性能的同时使用 10％至 30％的 FFN 参数，同时提高了推断 FLOPS 的效率和提供了一个细粒度的视角来研究 FFN 的内部机制。
发现论文，激发创造
  • 大型语言模型预训练中稀疏前馈网络的统一视角

    本文分析了 S-FFN 这种大而稀疏的前馈网络的两个主要设计选择：内存块（或专家）大小和内存块选择方法，并提供了它们相对有效性和效率的见解。在语言建模前训练中，我们发现一种更简单的选择方法 ——Avg-K，通过均值聚合隐藏状态选择块，可以比现有的 MoE 架构实现更低的困惑度。

    May, 2023

  • FFSplit：一种用于优化语言模型推理精度和效率权衡的分割前馈网络

    优化预训练语言模型（PLM）在商用硬件上的部署，通过模型压缩技术提高效率，将 Feed-forward 网络划分为两部分以提高已有压缩方法的效果，并取得了可观的模型尺寸减小和推理速度提升的效果。

    Jan, 2024

  • 高效变换器的基于近似的两层前馈网络

    如何在不牺牲性能的情况下减少神经网络的计算和内存需求？本研究提出了 sparse Mixtures of Experts 方法，通过一种综合框架将各种方法整合在一起以近似两层神经网络，并提出方法来改进这种方法，这样可以使大型语言模型在资源利用方面更加高效。

    Oct, 2023

  • 基于提示 - 提示的专家混合模型进行高效 LLM 生成

    GRIFFIN 是一种在不同非 ReLU 激活函数的大规模语言模型 (LLMs) 中选择唯一的前馈 (FE) 专家以实现高效生成的新型无需训练的 MoE 方法。

    Apr, 2024

  • 变压器前馈层通过在词汇空间中促进概念来建立预测

    通过反向工程变压器模型中的前馈神经网络层的运算过程，分析其词汇空间中的更新，控制预测结果，提高计算效率。

    Mar, 2022

  • 使用负载均衡和主叶节点增强快速前馈网络

    我们提出了将负载均衡和主叶技术融入快速前馈网络（FFFs）体系结构，以改善性能并简化训练过程。通过在文献中实现实验并展示使用这些技术增强的 FFF 模型的结果，我们发现所提出的架构和训练方法在训练和测试准确性方面相较于原始 FFF 架构分别提高了 16.3% 和 3% 的分类准确性。此外，与先前研究中报道的结果相比，我们观察到结果的变化较小。这些发现表明在 FFF 中整合受 Mixture of Experts 技术启发的技术可以开发出更准确和高效的模型。

    May, 2024

  • U2++ 模型：以最小对 RTF 影响的方式扩展 4.7 倍参数

    通过学习仅激活训练和推理中的一部分参数，混合专家 (MoE) 被提出作为一种高效能的能源路径，用于更大、更强大的语言模型。本文通过将 MoE 层替代所有前馈网络 (FFN) 层，展示了一个简单有效的 ASR 模型，并基于统一的双向注意解码器 (U2++) 实现了流式和非流式解码模式。我们希望本研究能促进无损耗部署的语音基础模型的扩展研究。

    Apr, 2024

  • MetaMixer 是你所需要的一切

    通过将自注意力转换为采用大型卷积和 GELU 激活函数的更类似于 Feed-Forward Network 的有效令牌混合器，作者尝试验证了查询 - 键 - 值框架的重要性，并提出了一种新的混合器体系结构 MetaMixer，在仅使用简单操作（如卷积和 GELU）的情况下取得了卓越的性能改进。

    Jun, 2024

  • MoE-FFD: 面向广义和参数高效的人脸伪造检测的专家混合

    该研究提出了一种基于变形器的面部伪造检测方法，利用变形器的表达能力和卷积神经网络的本地先验，同时提取全局和局部的伪造线索，从而实现了一种参数高效的训练方案。在实验证明该方法具有减少参数开销且达到了最先进的面部伪造检测性能。

    Apr, 2024

  • 高效的去除天气影响多专家模型：基于不确定性感知的特征线性调制

    我们提出了一个高效的 Mixture-of-Feature-Modulation-Experts（MoFME）架构，通过权重共享在一组专家中隐式地实例化多个专家。同时，我们还提出了一种具有良好校准权重的不确定性感知路由器（UaR），以将任务特定的特征分配给不同的 FM 模块，从而使 MoFME 能够有效地学习多个任务的不同专家功能。在多去污任务上进行的实验证明，我们的 MoFME 在图像恢复质量方面优于基准 0.1-0.2 dB，并且相比传统的 MoE 方法，参数节省超过 72％，推理时间节省 39％以上。在下游分割和分类任务上进行的实验进一步证明了 MoFME 在真实开放世界应用中的普适性。

    Dec, 2023