MVMoE：多任务车辆路由求解器与专家混合
本文提出了一种元学习框架，通过元学习可以有效地训练出初始化的模型，并具有快速适应新任务的能力，在旅行商问题和车辆路径问题的综合实验中，证明了方法的有效性。
May, 2023
该论文通过属性组合的方式，建立了一个统一模型，成功解决了车辆路径问题的不同组合情况，大幅提高了解决方案的效率并在物流应用中取得了显著的性能提升。
Feb, 2024
为了提高神经车辆路径问题（VRP）求解器在实际环境中的可行性，我们设计了一个辅助策略，通过学习本地可转移的拓扑特征来改善神经 VRP 求解器的表现，将其与典型的建构策略相结合，形成一个集成策略。经过联合训练，这个集成策略使得各个策略相互协作和互补，从而提高了泛化能力。实验证明，与最先进的构造方法相比，这个集成策略在两个著名的基准测试中（TSPLIB 和 CVRPLIB）表现出更好的泛化性能，并且在数千个节点的真实世界问题上也能工作得很好。
Aug, 2023
该研究文章通过对计算机视觉任务中的 MoEs 中路由器的全面研究，提出了一个统一的 MoE 公式，该公式涵盖了使用两个参数化路由张量的不同 MoEs（包括基于二进制或硬分配的稀疏 MoE 和基于加权组合的软分配的稀疏 MoE），并揭示了路由器在视觉 MoE 模型中发挥至关重要作用的新见解。
Jan, 2024
本文提出了一种基于单门 MoE 的简单且高效的异步训练方法，并通过基于聚类的初始化策略等技术手段实现了高效率与高准确率的权衡，与其他复杂的 MoE 相比表现优异，为单门 MoE 的应用提供了新的思路。
Apr, 2023
本文提出一种新的 MoE 的门控网络结构，类似于注意力机制，可以在任务分解方面提高性能并导致更低的熵，同时介绍了一种新的数据驱动正则化方法，可以提高专家的专业化。
Feb, 2023
本研究探讨了使用稀疏门控专家组技术解决大规模视觉语言模型训练中的挑战，并在等效计算成本下实现最先进性能的潜力，通过稀疏门控专家组对模型解释性的影响及其与 VLM 扩展计算性能之间的折衷，本文为大规模视觉语言模型的扩展提供了宝贵的洞见，并希望能够激发对 MoE 在其他多模态机器学习应用中的研究。
Mar, 2023
基于对相关出版物和预印本的全面审查，我们将所有神经组合优化求解器分为四个不同的类别，并提出了克服当前最先进求解器不足之处的有希望和可行的方向，并对来自强化、监督和无监督学习范例的代表性神经组合优化求解器在小规模和大规模车辆路径问题上的性能进行了比较。
Jun, 2024
本文介绍了一种名为 Vision MoE 的稀疏版本的 Vision Transformer，在图像识别方面表现出色且需要的计算量较少。此外，本文还提出了一种路由算法的扩展来优化每个输入的处理，最终通过训练一个达到 153 亿参数的模型，V-MoE 成功实现了高度可扩展的视觉建模。
Jun, 2021