通过建立 softmax gating multinomial logistic MoE 模型的密度估计和参数估计的收敛性速率，我们揭示了 softmax gating 和 expert 函数之间的相互作用通过偏微分方程导致了多项式速率变慢，提出了一种新型的修改 softmax gating 函数的方法，消除了先前的相互作用，显著提高了参数估计速率。

Oct, 2023

通过引入新的 Vononoi 损失函数，建立最大似然估计器的收敛速度，解决了 softmax gating 高斯混合专家的参数估计中的三种理论挑战。

May, 2023

通过定义损失函数和构建高斯混合专家模型，我们从密度和参数估计的角度对顶部 K 个稀疏 Softmax 门控函数进行理论研究，发现要保证密度估计的收敛，所选取的门控函数所包含的专家数量至少必须超过与真实参数相关的某些 Voronoi 单元总基数，并且由于 Softmax 门控和专家函数之间的内在相互作用，参数估计速度明显变慢。

Sep, 2023

在本研究中，我们探究了在数据按照回归模型进行采样的确定性混合专家模型下，最小二乘估计器（LSE）的性能，并建立了称为强可辨识性的条件，以表征不同类型的专家函数的收敛行为。我们证明了广泛使用的具有激活函数 sigmoid 和 tanh 的前馈网络专家的估计速度明显快于多项式专家，后者表现出令人惊讶的缓慢估计速度。我们的研究结果对专家选择具有重要的实际意义。

Feb, 2024

稠密到稀疏门控专家混合模型（MoE）是稀疏 MoE 的有效替代，本文分析了稠密到稀疏门控 MoE 对高斯 MoE 下的极大似然估计的影响，并提出了一种新的激活稠密到稀疏门，以改善参数估计速率。

Jan, 2024

在该研究中，作者提出了自适应门控混合专家模型，通过采用可变数量的专家处理令牌，实现了稀疏度的保持和训练效率的提高，通过大量实验验证了这种方法在减少训练时间的同时，保持推理质量。

Oct, 2023

该论文提出了一种输出激活函数 sigsoftmax 用于解决神经网络语言建模中的 softmax 瓶颈问题，它由指数函数和 sigmoid 函数的乘积构成，相对于 softmax 和混合 softmax，在语言建模实验中表现更好。

May, 2018

本文扩展了专家集成模型，提出了深度专家集成模型，该模型利用多组门和专家实现了输入空间的多重化，同时保持了小型化规模，在 MNIST 数据集和语音单音素数据集上的实验结果表明，该模型能够自动发现局部化的位置相关专家和类别相关专家，并有效地使用所有专家组合。

Dec, 2013

本研究提出了一种基于混合专家 (mixtures-of-experts) 的方法，用于解决具有单变量函数预测器的多类别分类问题，其中门控网络和专家网络都是基于具有函数输入的多项式逻辑激活函数构建的。我们进行正则化最大似然估计，并对目标导数附加可解释的稀疏约束。我们开发了一种 EM-Lasso 算法来计算正则化 MLE，并在模拟和真实数据上评估了所提出的方法。

Feb, 2022

本文探讨了高斯随机变量通过 Sigmoid 或 Softmax 映射的矩近似的精确计算方法，这些近似方法是半解析的且高度精确的，它们在决策制定的漂移扩散模型或非参数数据聚类方法的背景下具有一些利基应用。

Mar, 2017