多模态机器学习在理解图像和描述性文本之间的关系方面取得了重要进展，但这仅仅是潜在多模态交互的一部分，在预测讽刺等新交互中未包括新的冲突话语和手势之间的交互。本文通过一种称为 MMOE 的新方法解决了这个问题，该方法通过每种具体交互类型使用专门的模型，自动对无标记的多模态数据点进行分类，改进了具有挑战性的交互的性能，并为数据集分析提供了新的方法，取得了最先进的性能提升。

Nov, 2023

M3oE 是一种自适应的多领域多任务专家混合推荐框架，通过整合多领域信息、跨领域和任务的知识映射以及优化多个目标，以解决多领域多任务推荐中的复杂依赖关系。实验证明 M3oE 在两个基准数据集上表现出卓越的性能。

Apr, 2024

HyperMoE 是一种基于 Hypernetworks 的新型 Mixture of Experts (MoE) 框架，通过利用未选择的专家生成的特定模块作为补充信息，实现在保持选择稀疏性的同时利用未选择的专家的知识，从而在相同条件下显著优于现有 MoE 方法。

Feb, 2024

开发一种用于多模态大型语言模型的混合专家 (Uni-MoE) 架构，具有一致的多模态表示，通过稀疏的模态级数据并行和专家级模型并行实现高效的训练和推理，进一步减少性能偏差，并提高多专家的协作和泛化能力。

May, 2024

我们关注多领域神经机器翻译，旨在开发能够处理训练期间见过的各种领域数据并对未见过的领域具有鲁棒性的高效模型。我们假设稀疏专家混合（SMoE）模型非常适合这个任务，因为它们能够实现高效的模型扩展，有助于适应各种多领域数据，并允许领域间参数的灵活共享，从而可能实现类似领域之间的知识传递，并限制负面传递。我们进行了一系列实验证实 SMoE 在多领域场景中的效用，并发现在实践中，对 Transformer 进行简单的宽度扩展是一种更简洁且出人意料地高效的方法，其达到了与 SMoE 相同的性能水平。我们还寻求多领域系统的更好鲁棒性方法，强调了混合通用领域（如 Paracrawl）的重要性，并引入了一种简单的技术，即领域随机化。

Jul, 2024

基于超网络的专家混合（MoE）方法被提出以解决域偏移问题且不需要域标签，并通过探索专家之间的低维向量相似性来共享有用的元知识，该方法在实验中表现出色，实现某些情况下的 SOTA 结果。

Nov, 2022

通过混合专家框架和创新的门控函数，本研究介绍了 FuseMoE 模型，该模型可以有效地处理多模态数据、缺失模态以及时间上的不规则和稀疏采样数据，从而改善模型预测性能。通过临床风险预测任务的验证，证实了 FuseMoE 在实际应用中的实用性。

Feb, 2024

Mixture-of-experts (MoE) 的内在机制及行为特征的初步研究表明神经元如同细粒度专家，在参数和行为特征方面带来了一些有趣的观察，为 MoE 框架和其他模块化架构的未来研究提供了启示。

Jun, 2024

多任务场景下，大型语言模型（LLMs）面临着适应性挑战，而《混合专家模型》（MoE）以其稀疏架构有效地解耦任务而成为一种有希望的解决方案。本研究设计了一种模仿人类大脑的新框架《Intuition-MoR1E》，利用实例的内在语义聚类处理多任务情境，为优化特征分配提供了隐含指导。此外，引入了先进的《Rank-1 专家公式》来管理一系列直觉，在多任务 LLM 微调中表现出增强的参数效率和效果。广泛的实验证明，《Intuition-MoR1E》在 14 个公共数据集上相对于其他最先进方法具备更高的效率和 2.15％的整体准确度提升。

Apr, 2024

使用 Omni-SMoLA 结构及 Soft MoE 方法，在大规模多模态模型上实现了性能提升，广泛应用于生成式视觉与语言任务中，达到最新的至顶性能水平。

Dec, 2023