快速城市化大幅加剧了交通拥堵问题，因此需要先进的拥堵预测服务来增强智能交通系统。本文介绍了一种拥堵预测混合专家模型 (CP-MoE)，通过稀疏门控自适应图学习器 (MAGLs) 和两个专门的专家解决了异构和动态时空依赖性的挑战，从而提供更稳健和可解释的拥堵预测。实验证实了 CP-MoE 方法在现实世界数据集上相较于其他最先进的时空预测模型的优越性，已在 DiDi 上部署以提高旅行时间估计系统的准确性和可靠性。

Jun, 2024

混合专家（MoE）模型通过利用门控网络在多个专家之间稀疏和分配不同任务，从而有效缓解了连续学习中的灾难性遗忘问题。本文通过对过参数化线性回归任务进行理论分析，得出了 MoE 模型相对于单个专家的优势，并提供了 MoE 模型在学习性能中的影响的明确表达式，同时还介绍了在连续任务到达的情况下，在足够的训练轮次后终止门控网络的必要性。最后，通过对合成和真实数据集的实验，将这些洞见扩展到深度神经网络，并在连续学习中的 MoE 的实际算法设计上提供了启示。

Jun, 2024

本文提出了一种两个阶段的 StableMoE 方法来解决现有的学习路由 Moe 方法中的路由波动问题，并通过在语言模型和多语言机器翻译上的实验验证了该方法的有效性。

Apr, 2022

我们提出了一个高效的 Mixture-of-Feature-Modulation-Experts（MoFME）架构，通过权重共享在一组专家中隐式地实例化多个专家。同时，我们还提出了一种具有良好校准权重的不确定性感知路由器（UaR），以将任务特定的特征分配给不同的 FM 模块，从而使 MoFME 能够有效地学习多个任务的不同专家功能。在多去污任务上进行的实验证明，我们的 MoFME 在图像恢复质量方面优于基准 0.1-0.2 dB，并且相比传统的 MoE 方法，参数节省超过 72％，推理时间节省 39％以上。在下游分割和分类任务上进行的实验进一步证明了 MoFME 在真实开放世界应用中的普适性。

Dec, 2023

使用 Mixture-of-Linear-Experts (MoLE) 方法可以降低线性中心模型的预测误差，并在大多数数据集和设置上实现最先进的长期时间序列预测结果。

Dec, 2023

本文提出了一种基于图神经网络和持续学习的流式交通流预测框架 TrafficStream，通过交通模式融合方法和 CL 实现对具有扩展和发展模式的网络模型的高效学习，同时构建流式交通数据集进行验证，实验证明该模型在长期流场中高效提取交通模式的潜力。

Jun, 2021

本文提出了一种基于拓扑感知路由策略的 Sparsely gated Mixture-of-Expert 深度神经网络模型，可以根据不同的拓扑结构动态调整传输模式，并通过辅助引导学习自适应地适应拓扑结构，实验结果表明该模型在各种硬件和模型配置中比其竞争对手表现表现更好，改进了 1.01x-1.61x, 1.01x-4.77x, 1.25x-1.54x。

Feb, 2023

该论文提出了一种可解释的框架 ST-ExpertNet，基于 MoE 训练了一组功能专家，以应对在城市的不同流量模式。作者在北京和纽约的真实出租车和自行车数据集上进行了实验，结果表明该框架在可解释性和表现方面都卓越于其他网络结构。

May, 2022

提出了一种新颖的 Temporal Multi-Gate Mixture-of-Experts (TMMOE) 模型，用于同时预测车辆轨迹和驾驶意图，通过在模型中利用 Temporal Convolutional Networks (TCN) 提取时间特征，建立专家层识别不同任务的信息，并使用全连接层集成和导出预测结果，通过使用不确定性算法构建多任务损失函数，证明了 TMMOE 模型在公开可用的 CitySim 数据集上表现优于 LSTM 模型，实现了最高的分类和回归结果。

Aug, 2023

通过使用专门的专家组合和路由器网络，本研究提出了一种模块化、无模型依赖的轨迹预测框架，不仅在常见情景下取得了最新的性能，而且在长尾场景下显著提高了预测准确性。

Feb, 2024