通过建立 softmax gating multinomial logistic MoE 模型的密度估计和参数估计的收敛性速率，我们揭示了 softmax gating 和 expert 函数之间的相互作用通过偏微分方程导致了多项式速率变慢，提出了一种新型的修改 softmax gating 函数的方法，消除了先前的相互作用，显著提高了参数估计速率。

Oct, 2023

本研究利用 Voronoi 损失函数来解决高斯门限混合专家模型参数估计中出现的内在复杂交互问题。在两种不同的场景下，对于 MLE 行为进行了分析，并最终进行了模拟研究以验证理论结果。

May, 2023

本文提出了一种基于单门 MoE 的简单且高效的异步训练方法，并通过基于聚类的初始化策略等技术手段实现了高效率与高准确率的权衡，与其他复杂的 MoE 相比表现优异，为单门 MoE 的应用提供了新的思路。

Apr, 2023

本文提出一种新的 MoE 的门控网络结构，类似于注意力机制，可以在任务分解方面提高性能并导致更低的熵，同时介绍了一种新的数据驱动正则化方法，可以提高专家的专业化。

Feb, 2023

在这篇论文中，我们探索了稀疏专家混合模型（Sparse MoE）在各种关键因素下的泛化误差，并从经典学习理论的角度提供了如何使用稀疏性来提高混合模型泛化性能的见解。

Mar, 2024

提出了 MoE-F 机制，用于在在线时间序列预测任务中结合 N 个预训练的大型语言模型 (LLMs)，通过自适应性地预测在每个时间步骤中 LLMs 预测的最佳加权。通过利用每个专家的运行表现中的条件信息，我们的机制可以预测最佳的 LLMs 组合以预测时间序列的下一个步骤。通过将专家选择问题构建为有限状态空间、连续时间的隐马尔可夫模型 (HMM)，我们可以利用 Wohman-Shiryaev 滤波器。我们的方法首先构建了 N 个并行滤波器，分别对应于 N 个单独的 LLMs。每个滤波器根据其拥有的信息提出其最佳的 LLMs 组合。随后，将 N 个滤波器的输出聚合以优化聚合 LLMs 的损失下界，可以通过闭合形式进行优化，从而生成我们的集成预测器。本文贡献包括：(I) MoE-F 算法 - 可作为即插即用的滤波器框架使用；(II) 提出的基于滤波的门控算法的理论最优性保证；(III) 使用最先进的基础和 MoE LLMs 在真实世界的金融市场动态预测任务上进行的实证评估和分析结果，其中 MoE-F 相对于表现最好的单个 LLM 专家获得了显著的 17% 的绝对值和 48.5% 的相对 F1 度量改进。

Jun, 2024

在该研究中，作者提出了自适应门控混合专家模型，通过采用可变数量的专家处理令牌，实现了稀疏度的保持和训练效率的提高，通过大量实验验证了这种方法在减少训练时间的同时，保持推理质量。

Oct, 2023

通过引入新的 Vononoi 损失函数，建立最大似然估计器的收敛速度，解决了 softmax gating 高斯混合专家的参数估计中的三种理论挑战。

May, 2023

提出了一种名为 Preferential MoE 的人类 - 机器学习混合专家模型，它可以根据决策中有无人类专家经验的必要性，在需要时对数据分类器进行增强。该模型展示了可解释的门控函数，提供何时遵循或避免人类规则的信息。提出了解决具有凸次问题的耦合多目标问题。提出近似算法并研究其性能和收敛性。最后，我们演示了 Preferential MoE 在治疗人类免疫缺陷病毒（HIV）和管理重度抑郁症（MDD）的两个临床应用中的实用性。

Jan, 2021

稠密到稀疏门控专家混合模型（MoE）是稀疏 MoE 的有效替代，本文分析了稠密到稀疏门控 MoE 对高斯 MoE 下的极大似然估计的影响，并提出了一种新的激活稠密到稀疏门，以改善参数估计速率。

Jan, 2024