Jun, 2024

可解释的城市交通拥堵预测中的级联专家混合模型

PDF
TL;DR快速城市化大幅加剧了交通拥堵问题，因此需要先进的拥堵预测服务来增强智能交通系统。本文介绍了一种拥堵预测混合专家模型 (CP-MoE)，通过稀疏门控自适应图学习器 (MAGLs) 和两个专门的专家解决了异构和动态时空依赖性的挑战，从而提供更稳健和可解释的拥堵预测。实验证实了 CP-MoE 方法在现实世界数据集上相较于其他最先进的时空预测模型的优越性，已在 DiDi 上部署以提高旅行时间估计系统的准确性和可靠性。
urbanizationcongestion predictionintelligent transportation systemsspatio-temporal dependenciestraffic data
发现论文，激发创造
  • 混合专家模型的持续交通预测

    交通流量预测在长期流式网络中的持续学习方面，我们通过将交通流量分割为多个同质化群体并分配专家模型负责特定群体这一创新的 Traffic Forecasting Mixture of Experts (TFMoE) 方法，强调了其在防止灾难性遗忘方面的有效性和效率。

    Jun, 2024

  • MoEC: 专家混合聚类

    本研究提出了 Mixture of Expert Clusters 模型，通过在路由阶段引入基于方差的约束来促进专家层学习更多不同和适当的知识，并提出了一种专家集群结构的集群级别专家丢失策略。实验证明，该模型可以提高机器翻译和自然语言理解任务的性能，并在有限数据条件下扩展专家的性能上限，对缓解过度拟合和稀疏数据分配问题起到积极作用。

    Jul, 2022

  • 重新审视单门限专家混合模型

    本文提出了一种基于单门 MoE 的简单且高效的异步训练方法，并通过基于聚类的初始化策略等技术手段实现了高效率与高准确率的权衡，与其他复杂的 MoE 相比表现优异，为单门 MoE 的应用提供了新的思路。

    Apr, 2023

  • 连续学习中的专家混合理论

    混合专家（MoE）模型通过利用门控网络在多个专家之间稀疏和分配不同任务，从而有效缓解了连续学习中的灾难性遗忘问题。本文通过对过参数化线性回归任务进行理论分析，得出了 MoE 模型相对于单个专家的优势，并提供了 MoE 模型在学习性能中的影响的明确表达式，同时还介绍了在连续任务到达的情况下，在足够的训练轮次后终止门控网络的必要性。最后，通过对合成和真实数据集的实验，将这些洞见扩展到深度神经网络，并在连续学习中的 MoE 的实际算法设计上提供了启示。

    Jun, 2024

  • 难度较高的任务需要更多的专家：MoE 模型中的动态路由

    本文介绍了一种新颖的动态专家选择框架用于混合专家模型 (Mixture of Experts, MoE)，旨在通过根据输入难度调整激活的专家数量来提高计算效率和模型性能。我们的方法动态选择专家，而不是像传统 MoE 方法那样依赖固定的前 K 个路由，无论输入的复杂性如何，都会激活预定数量的专家。通过广泛的评估，我们的动态路由方法在各种基准测试中显示出明显的改进，相对于常规的前 2 个路由平均改进了 0.7%，激活参数不到 90%。进一步的分析显示，我们的模型向需要复杂推理技能的任务派遣更多的专家，如 BBH，验证了它根据输入的复杂性动态分配计算资源的能力。我们的发现还凸显了变压器模型不同层之间所需专家数量的差异，为设计异构 MoE 框架提供了洞察。代码和模型可在给定的 https URL 提供。

    Mar, 2024

  • 基于人类专业知识的可解释模型：优先采用专家混合模式

    提出了一种名为 Preferential MoE 的人类 - 机器学习混合专家模型，它可以根据决策中有无人类专家经验的必要性，在需要时对数据分类器进行增强。该模型展示了可解释的门控函数，提供何时遵循或避免人类规则的信息。提出了解决具有凸次问题的耦合多目标问题。提出近似算法并研究其性能和收敛性。最后，我们演示了 Preferential MoE 在治疗人类免疫缺陷病毒（HIV）和管理重度抑郁症（MDD）的两个临床应用中的实用性。

    Jan, 2021

  • LocMoE：一种用于大型语言模型训练的低开销 MoE

    通过转换部分节点间通信为节点内通信的路由策略，我们提出了一种新颖的负载均衡和局部性相结合的路由策略，并在 PanGu-Sigma 模型上进行了改进，实验证明该路由策略减少了每轮训练时间约 12.68% 至 22.24%，而不影响模型的准确性。

    Jan, 2024

  • 城市交通拥堵预测的可扩展深度流量神经网络

    通过去中心化的深度学习方法，基于相邻车站的拥堵状态实时准确地预测每个车站的拥堵状况，避免了中央处理器的局限性并提升了系统的实时反馈能力和实用性。同时为了避免训练数据集的不平衡，引入了经过正则化的欧氏距离损失函数。通过北加利福尼亚交通数据建立新的数据集进行实验，成果表明该方法成功预测了交通拥堵。

    Mar, 2017

  • 混合专家中改进专家专业化能力

    本文提出一种新的 MoE 的门控网络结构，类似于注意力机制，可以在任务分解方面提高性能并导致更低的熵，同时介绍了一种新的数据驱动正则化方法，可以提高专家的专业化。

    Feb, 2023

  • MoDE: 一种基于专家互相融合的混合模型

    我们提出了一种叫作 Mixture-of-Distilled-Expert（MoDE）的方法，通过在专家之间应用适度的相互蒸馏，使每个专家能够掌握其他专家学习到的更多特征，从而对其原始分配的子任务有更准确的认识。我们进行了大量的实验，包括表格、自然语言处理和计算机视觉数据集，证明了 MoDE 的有效性、普适性和鲁棒性。此外，我们通过创新地构建 “专家探针” 进行了平行研究，实验性地证明了为什么 MoDE 起作用：适度的知识蒸馏可以提高每个单独专家在其所分配任务上的测试性能，从而提升 MoE 的整体性能。

    Jan, 2024