May, 2023

高斯门控专家混合模型参数估计的收敛速率

PDF
TL;DR本研究利用 Voronoi 损失函数来解决高斯门限混合专家模型参数估计中出现的内在复杂交互问题。在两种不同的场景下，对于 MLE 行为进行了分析，并最终进行了模拟研究以验证理论结果。
mixture of expertsneural networkparameter estimationvoronoi loss functionsheterogeneous data analysis
发现论文，激发创造
  • 一般性 Softmax 门控多项式逻辑混合专家的理论

    通过建立 softmax gating multinomial logistic MoE 模型的密度估计和参数估计的收敛性速率，我们揭示了 softmax gating 和 expert 函数之间的相互作用通过偏微分方程导致了多项式速率变慢，提出了一种新型的修改 softmax gating 函数的方法，消除了先前的相互作用，显著提高了参数估计速率。

    Oct, 2023

  • 最小二乘估计在 Softmax 门限混合专家中的应用

    在本研究中，我们探究了在数据按照回归模型进行采样的确定性混合专家模型下，最小二乘估计器（LSE）的性能，并建立了称为强可辨识性的条件，以表征不同类型的专家函数的收敛行为。我们证明了广泛使用的具有激活函数 sigmoid 和 tanh 的前馈网络专家的估计速度明显快于多项式专家，后者表现出令人惊讶的缓慢估计速度。我们的研究结果对专家选择具有重要的实际意义。

    Feb, 2024

  • 高斯专家混合模型中的 Softmax 门控解密

    通过引入新的 Vononoi 损失函数，建立最大似然估计器的收敛速度，解决了 softmax gating 高斯混合专家的参数估计中的三种理论挑战。

    May, 2023

  • 重新审视单门限专家混合模型

    本文提出了一种基于单门 MoE 的简单且高效的异步训练方法，并通过基于聚类的初始化策略等技术手段实现了高效率与高准确率的权衡，与其他复杂的 MoE 相比表现优异，为单门 MoE 的应用提供了新的思路。

    Apr, 2023

  • 混合专家中改进专家专业化能力

    本文提出一种新的 MoE 的门控网络结构，类似于注意力机制，可以在任务分解方面提高性能并导致更低的熵，同时介绍了一种新的数据驱动正则化方法，可以提高专家的专业化。

    Feb, 2023

  • 偏斜高斯混合专家的参数估计

    在这篇论文中，我们考虑了参数估计问题，主要集中在偏离的高斯混合专家模型中。通过构建新的基于 Voronoi 的损失函数，我们准确地捕捉了最大似然估计的收敛速度，并显示出这些损失函数比高斯混合专家模型常用的广义 Wasserstein 损失函数更准确地描述了参数估计的局部收敛速度。

    Feb, 2024

  • 稠密专家混合模型的泛化误差分析：初步研究

    在这篇论文中，我们探索了稀疏专家混合模型（Sparse MoE）在各种关键因素下的泛化误差，并从经典学习理论的角度提供了如何使用稀疏性来提高混合模型泛化性能的见解。

    Mar, 2024

  • 大型语言模型中混合专家的更深入研究

    Mixture-of-experts (MoE) 的内在机制及行为特征的初步研究表明神经元如同细粒度专家，在参数和行为特征方面带来了一些有趣的观察，为 MoE 框架和其他模块化架构的未来研究提供了启示。

    Jun, 2024

  • 推动专家混合模型的极限：非常参数高效的指令调优 MoE

    我们的研究展示了混合专家架构的多样性，即使在严格的参数约束下，也能提供稳健的性能，并通过唯一地将 MoE 架构与轻量级专家相结合，提出了极其高效的 MoE 架构，推动了 MoE 的极限。

    Sep, 2023

  • 探索深度学习中的专家混合模型

    本文研究了 Mixture-of-Experts（MoE）层如何在深度学习中提高神经网络的性能以及为什么混合模型不会崩溃。通过研究困难的分类问题，我们证明了 MoE 模型的有效性，理论上表明路由器可以学习聚类中心特征，帮助将复杂的问题分解为更简单的线性分类子问题，而专家网络可以解决这些子问题，该文是最早正式理解深度学习中 MoE 层机制的结果之一。

    Aug, 2022