高效的去除天气影响多专家模型：基于不确定性感知的特征线性调制

AAAIDec, 2023

高效的去除天气影响多专家模型：基于不确定性感知的特征线性调制

Efficient Deweather Mixture-of-Experts with Uncertainty-aware Feature-wise Linear Modulation

Rongyu Zhang, Yulin Luo, Jiaming Liu, Huanrui Yang, Zhen Dong...

TL;DR我们提出了一个高效的 Mixture-of-Feature-Modulation-Experts（MoFME）架构，通过权重共享在一组专家中隐式地实例化多个专家。同时，我们还提出了一种具有良好校准权重的不确定性感知路由器（UaR），以将任务特定的特征分配给不同的 FM 模块，从而使 MoFME 能够有效地学习多个任务的不同专家功能。在多去污任务上进行的实验证明，我们的 MoFME 在图像恢复质量方面优于基准 0.1-0.2 dB，并且相比传统的 MoE 方法，参数节省超过 72％，推理时间节省 39％以上。在下游分割和分类任务上进行的实验进一步证明了 MoFME 在真实开放世界应用中的普适性。

Abstract

The mixture-of-experts (MoE) approach has demonstrated outstanding scalability in multi-task learning including low-level upstream tasks such as concurrent removal of multiple adverse weather effects. However, th

mixture-of-experts concurrent removal efficient deployment feature modulated expert uncertainty-aware router

发现论文，激发创造

推动专家混合模型的极限：非常参数高效的指令调优 MoE

我们的研究展示了混合专家架构的多样性，即使在严格的参数约束下，也能提供稳健的性能，并通过唯一地将 MoE 架构与轻量级专家相结合，提出了极其高效的 MoE 架构，推动了 MoE 的极限。

Sep, 2023

混合专家中改进专家专业化能力

本文提出一种新的 MoE 的门控网络结构，类似于注意力机制，可以在任务分解方面提高性能并导致更低的熵，同时介绍了一种新的数据驱动正则化方法，可以提高专家的专业化。

Feb, 2023

大型语言模型中混合专家的更深入研究

Mixture-of-experts (MoE) 的内在机制及行为特征的初步研究表明神经元如同细粒度专家，在参数和行为特征方面带来了一些有趣的观察，为 MoE 框架和其他模块化架构的未来研究提供了启示。

Jun, 2024

EWMoE：基于混合专家的全球气象预报的有效模型

在本文中，我们提出了 EWMoE 模型，它是一种能够准确预测全球天气的有效模型，它只需要较少的训练数据和计算资源，并利用 Meteorology-specific embedding、核心 Mixture-of-Experts (MoE) 层和两个特定的损失函数来提高预测准确性。通过对 ERA5 数据集进行了评估，并仅使用了两年的训练数据，我们进行了大量实验证明，EWMoE 在所有预测时间上均表现优于 FourCastNet 和 ClimaX 等当前模型，在异常相关系数（ACC）和均方根误差（RMSE）等评估指标上与最先进的 Pangu-Weather 模型具有竞争力。此外，消融实验结果表明，在天气预测中应用 MoE 架构可以显著提高准确性和资源效率。

May, 2024

多线性专家混合模型：通过分解实现可扩展的专家专业化

通过使用 Multilinear Mixutre of Experts (MMoE) 层来缩放专家的数量，从而实现图像模型的细粒度特化，并通过定性和定量的证据证明了其与线性层具有相当的性能，同时进一步协助修正 CelebA 属性分类中的人口统计偏差。

Feb, 2024

MoDE: 一种基于专家互相融合的混合模型

我们提出了一种叫作 Mixture-of-Distilled-Expert（MoDE）的方法，通过在专家之间应用适度的相互蒸馏，使每个专家能够掌握其他专家学习到的更多特征，从而对其原始分配的子任务有更准确的认识。我们进行了大量的实验，包括表格、自然语言处理和计算机视觉数据集，证明了 MoDE 的有效性、普适性和鲁棒性。此外，我们通过创新地构建 “专家探针” 进行了平行研究，实验性地证明了为什么 MoDE 起作用：适度的知识蒸馏可以提高每个单独专家在其所分配任务上的测试性能，从而提升 MoE 的整体性能。

Jan, 2024

重新审视单门限专家混合模型

本文提出了一种基于单门 MoE 的简单且高效的异步训练方法，并通过基于聚类的初始化策略等技术手段实现了高效率与高准确率的权衡，与其他复杂的 MoE 相比表现优异，为单门 MoE 的应用提供了新的思路。

Apr, 2023

滤波而非混合：基于随机滤波的大语言模型混合的在线门控

提出了 MoE-F 机制，用于在在线时间序列预测任务中结合 N 个预训练的大型语言模型 (LLMs)，通过自适应性地预测在每个时间步骤中 LLMs 预测的最佳加权。通过利用每个专家的运行表现中的条件信息，我们的机制可以预测最佳的 LLMs 组合以预测时间序列的下一个步骤。通过将专家选择问题构建为有限状态空间、连续时间的隐马尔可夫模型 (HMM)，我们可以利用 Wohman-Shiryaev 滤波器。我们的方法首先构建了 N 个并行滤波器，分别对应于 N 个单独的 LLMs。每个滤波器根据其拥有的信息提出其最佳的 LLMs 组合。随后，将 N 个滤波器的输出聚合以优化聚合 LLMs 的损失下界，可以通过闭合形式进行优化，从而生成我们的集成预测器。本文贡献包括：(I) MoE-F 算法 - 可作为即插即用的滤波器框架使用；(II) 提出的基于滤波的门控算法的理论最优性保证；(III) 使用最先进的基础和 MoE LLMs 在真实世界的金融市场动态预测任务上进行的实证评估和分析结果，其中 MoE-F 相对于表现最好的单个 LLM 专家获得了显著的 17% 的绝对值和 48.5% 的相对 F1 度量改进。

Jun, 2024

U2++ 模型：以最小对 RTF 影响的方式扩展 4.7 倍参数

通过学习仅激活训练和推理中的一部分参数，混合专家 (MoE) 被提出作为一种高效能的能源路径，用于更大、更强大的语言模型。本文通过将 MoE 层替代所有前馈网络 (FFN) 层，展示了一个简单有效的 ASR 模型，并基于统一的双向注意解码器 (U2++) 实现了流式和非流式解码模式。我们希望本研究能促进无损耗部署的语音基础模型的扩展研究。

Apr, 2024

通过混合词语专家实现记忆增强语言模型

该论文通过引入大型知识丰富词汇的路由功能和专家，以 Mixture-of-Experts (MoE) 风格模型，积极地解耦学习容量与 FLOPs，提出了一种名为 Mixture of Word Experts (MoWE) 的方法，它可以被视为一种记忆增强模型，其中一组特定于单词的专家起到了稀疏记忆的作用，研究表明，在各种 NLP 任务中，MoWE 的性能明显优于相似 FLOPs 数量的 T5 模型系列，此外，MoWE 在知识密集型任务上胜过常规的 MoE 模型，并且具有与更复杂的记忆增强方法相似的性能，而后者通常需要调用自定义机制来搜索稀疏记忆。

Nov, 2023