May, 2024

EWMoE：基于混合专家的全球气象预报的有效模型

PDF
TL;DR在本文中，我们提出了 EWMoE 模型，它是一种能够准确预测全球天气的有效模型，它只需要较少的训练数据和计算资源，并利用 Meteorology-specific embedding、核心 Mixture-of-Experts (MoE) 层和两个特定的损失函数来提高预测准确性。通过对 ERA5 数据集进行了评估，并仅使用了两年的训练数据，我们进行了大量实验证明，EWMoE 在所有预测时间上均表现优于 FourCastNet 和 ClimaX 等当前模型，在异常相关系数（ACC）和均方根误差（RMSE）等评估指标上与最先进的 Pangu-Weather 模型具有竞争力。此外，消融实验结果表明，在天气预测中应用 MoE 架构可以显著提高准确性和资源效率。
发现论文，激发创造
  • 高效的去除天气影响多专家模型：基于不确定性感知的特征线性调制

    我们提出了一个高效的 Mixture-of-Feature-Modulation-Experts（MoFME）架构，通过权重共享在一组专家中隐式地实例化多个专家。同时，我们还提出了一种具有良好校准权重的不确定性感知路由器（UaR），以将任务特定的特征分配给不同的 FM 模块，从而使 MoFME 能够有效地学习多个任务的不同专家功能。在多去污任务上进行的实验证明，我们的 MoFME 在图像恢复质量方面优于基准 0.1-0.2 dB，并且相比传统的 MoE 方法，参数节省超过 72％，推理时间节省 39％以上。在下游分割和分类任务上进行的实验进一步证明了 MoFME 在真实开放世界应用中的普适性。

    Dec, 2023

  • 带有掩码自编码器的预训练天气模型用于多变量天气预报

    通过预训练技术，我们提出了一种基于自编码器的气象模型 W-MAE 用于多变量天气预报，在长时间范围内建模了气象变量的空间相关性，在时间尺度上，我们利用预训练的 W-MAE 对气象变量进行未来状态的预测，与 FourCastNet 模型进行比较，W-MAE 具有更好的降雨预测性能，特别是在短到中期范围内的预测中。

    Apr, 2023

  • GW-MoE：应用全局工作空间理论解决 MoE 路由器中的不确定性

    通过使用全局工作空间理论，我们提出了 GW-MoE，一个新的微调方法，以解决 Mixture-of-Experts（MoE）模型中的不确定路由结果问题，并在不同任务和模型规模下验证其有效性。

    Jun, 2024

  • LocMoE：一种用于大型语言模型训练的低开销 MoE

    通过转换部分节点间通信为节点内通信的路由策略，我们提出了一种新颖的负载均衡和局部性相结合的路由策略，并在 PanGu-Sigma 模型上进行了改进，实验证明该路由策略减少了每轮训练时间约 12.68% 至 22.24%，而不影响模型的准确性。

    Jan, 2024

  • 用于运营的数据驱动气象预测模型集合的亚季节预测

    我们提出了一个实用的多模式集成天气预报系统，该系统使用混合数据驱动的天气预测模型与欧洲中期天气预报中心（ECMWF）海洋模型相结合，在 4 周的前期预测全球天气，分辨率为 1 度。对于 2 米温度的预测，我们的集成模型相比于原始的 ECMWF 扩展范围集成模型，在平均性能上提高了 4-17％（根据预测提前期而定）。然而，在应用统计偏差修正之后，ECMWF 集成模型在 4 周时相比较好，优势约为 3％。对于其他地表参数，我们的集成模型与 ECMWF 集成模型的性能差距也在几个百分点以内。我们证明了使用基于数据驱动的天气预测模型的多模式集成方法可以实现接近最新技术水平的次季节到季节性天气预报。

    Mar, 2024

  • Skywork-MoE: 混合专家语言模型培训技术的深入研究

    在本研究中，我们介绍了 Skywork-MoE 的训练方法，它是一个具有 1460 亿参数和 16 个专家的高性能混合专家（MoE）大型语言模型（LLM），它是从我们的 Skywork-13B 模型的预先存在的密集检查点初始化的。我们对再利用与从头训练初始化之间的比较效果进行了探索研究，发现这两种方法的选择应该考虑到现有密集检查点的性能和 MoE 训练预算。我们突出了两个创新技术：门控逻辑归一化，可以改善专家多样化，以及自适应辅助损失系数，可以对每层进行调整。我们的实验结果验证了这些方法的有效性。利用这些技术和见解，我们对我们的 SkyPile 语料库的一个压缩子集进行了再利用训练，评估结果证明我们的模型在广泛的基准测试中表现出强大的性能。

    Jun, 2024

  • 通过混合词语专家实现记忆增强语言模型

    该论文通过引入大型知识丰富词汇的路由功能和专家，以 Mixture-of-Experts (MoE) 风格模型，积极地解耦学习容量与 FLOPs，提出了一种名为 Mixture of Word Experts (MoWE) 的方法，它可以被视为一种记忆增强模型，其中一组特定于单词的专家起到了稀疏记忆的作用，研究表明，在各种 NLP 任务中，MoWE 的性能明显优于相似 FLOPs 数量的 T5 模型系列，此外，MoWE 在知识密集型任务上胜过常规的 MoE 模型，并且具有与更复杂的记忆增强方法相似的性能，而后者通常需要调用自定义机制来搜索稀疏记忆。

    Nov, 2023

  • 大型语言模型中混合专家的更深入研究

    Mixture-of-experts (MoE) 的内在机制及行为特征的初步研究表明神经元如同细粒度专家，在参数和行为特征方面带来了一些有趣的观察，为 MoE 框架和其他模块化架构的未来研究提供了启示。

    Jun, 2024

  • 基于专家混合的高效大规模语言建模

    本文研究了自回归 MoE 语言模型在各种设置下与密集模型的规模比较，并发现除了 fine-tuning 以外，在相同预算下 MoE 模型比密集模型更加高效。该研究表明 MoE 和密集模型在任务和领域上的推广效果不同，值得进一步研究。

    Dec, 2021

  • WDMoE: 无线分布式大规模语言模型与专家混合模型

    基于混合专家模型 (MoE) 的无线分布式大型语言模型 (WDMoE) 通过在基站 (BS) 和移动设备的边缘服务器上协作部署大型语言模型 (LLMs)，分解其 MoE 层以充分利用分布式设备上专家网络的并行能力，并设计专家选择策略以克服无线通信的不稳定性，最终实现超越现有模型的性能和降低总体延迟。

    May, 2024