Apr, 2023

图混合专家：使用显式多样性建模在大规模图上学习

PDF
TL;DR该论文引入了 Mixture-of-Expert（MoE）思想到图神经网络中，提出了一种新的 Graph Mixture of Expert（GMoE）模型，用于同时建模多样的训练图结构，通过在 OGB 基准测试中表现的提升来验证 GMoE 的有效性。
graph neural networksmixture-of-expertgraph structuresinformation aggregationogb benchmark
发现论文，激发创造
  • 通过图的混合进行图稀疏化

    使用混合图 (MoG) 技术对图神经网络进行图稀疏化处理，针对每个节点的特定环境选择合适的稀疏方案，并在 Grassmann 流形上生成最优稀疏图，从而实现更高的稀疏度水平、GNN 推理速度的提升，并改善 “顶级学生” GNN 在性能上的表现。

    May, 2024

  • 图神经网络中的节点滤波：一种专家混合方法

    图神经网络 (GNNs) 在各种图结构模式下的节点分类任务中已被证明非常有效。然而，现实世界的图通常展现出复杂的同构和异构模式的混合，使用统一的全局过滤器方法则不够优化。为解决这个问题，我们引入了一种新颖的 GNN 框架 Node-MoE，使用专家混合来自适应地选择不同节点的适当过滤器。广泛的实验证明了 Node-MoE 在同构和异构图上的有效性。

    Jun, 2024

  • GraphMETRO：通过均衡专家的混合来减少 GNN 中复杂的分布偏移

    GraphMETRO 是一种新颖的框架，利用混合专家模型来增强图神经网络在节点和图级任务中对复杂分布变化的泛化能力，并在合成和真实数据集上的实验证明了其卓越性能和解释性。

    Dec, 2023

  • 混合专家中改进专家专业化能力

    本文提出一种新的 MoE 的门控网络结构，类似于注意力机制，可以在任务分解方面提高性能并导致更低的熵，同时介绍了一种新的数据驱动正则化方法，可以提高专家的专业化。

    Feb, 2023

  • HyperMoE: 通过专家之间的迁移改进更好的专家混合

    HyperMoE 是一种基于 Hypernetworks 的新型 Mixture of Experts (MoE) 框架，通过利用未选择的专家生成的特定模块作为补充信息，实现在保持选择稀疏性的同时利用未选择的专家的知识，从而在相同条件下显著优于现有 MoE 方法。

    Feb, 2024

  • 重新审视单门限专家混合模型

    本文提出了一种基于单门 MoE 的简单且高效的异步训练方法，并通过基于聚类的初始化策略等技术手段实现了高效率与高准确率的权衡，与其他复杂的 MoE 相比表现优异，为单门 MoE 的应用提供了新的思路。

    Apr, 2023

  • 大型语言模型中混合专家的更深入研究

    Mixture-of-experts (MoE) 的内在机制及行为特征的初步研究表明神经元如同细粒度专家，在参数和行为特征方面带来了一些有趣的观察，为 MoE 框架和其他模块化架构的未来研究提供了启示。

    Jun, 2024

  • 链路预测的混合模型

    介绍了一种适用于链接预测的简单的专家组合模型（Link-MoE），通过选择合适的专家基于各种类型的成对信息，该模型在各种真实世界数据集上取得了显著的性能提升。

    Feb, 2024

  • 图知识蒸馏到专家混合

    通过使用一种特殊设计的学生模型（Routing-by-Memory）来解决节点分类任务中的性能问题，该模型是一种专家混合（Mixture-of-Experts），通过鼓励每个专家在隐藏表示空间的某个特定区域进行专门化，实验证明可以在多个数据集上实现更一致的性能。

    Jun, 2024

  • LocMoE：一种用于大型语言模型训练的低开销 MoE

    通过转换部分节点间通信为节点内通信的路由策略，我们提出了一种新颖的负载均衡和局部性相结合的路由策略，并在 PanGu-Sigma 模型上进行了改进，实验证明该路由策略减少了每轮训练时间约 12.68% 至 22.24%，而不影响模型的准确性。

    Jan, 2024