MING-MOE：稀疏低秩适配器专家混合增强大型语言模型中的医学多任务学习

Apr, 2024

MING-MOE：稀疏低秩适配器专家混合增强大型语言模型中的医学多任务学习

MING-MOE: Enhancing Medical Multi-Task Learning in Large Language Models with Sparse Mixture of Low-Rank Adapter Experts

PDF

Yusheng Liao, Shuyang Jiang, Yu Wang, Yanfeng Wang

TL;DRMING-MOE 是一种基于混合专家（MOE）的医学大型语言模型，通过 Mixture of Low-Rank Adaptation（MoLoRA）技术，在不需要特定任务注释的情况下处理复杂多样的医学任务，从而在超过 20 个医学任务上取得了最先进的性能，提高了推断效率。

Abstract

Large language models like ChatGPT have shown substantial progress in natural language understanding and generation, proving valuable across various disciplines, including the medical field. Despite advancements,

language models medical field multi-task learning ming-moe state-of-the-art performance

发现论文，激发创造

MoE-TinyMed：用于微型医疗大型视觉语言模型的专家混合

Mixture of Expert Tuning (MoE-Tuning) 在资源有限的医疗环境中具有潜力，为此我们开发了 MoE-TinyMed，一个专为医疗应用设计、大大降低参数需求的模型，在 VQA-RAD、SLAKE 和 Path-VQA 数据集的评估中，MoE-TinyMed 以仅 3.6B 参数的性能超过 LLaVA-Med，此外，一个仅有 2B 参数的精简版本在 PathVQA 中超越了 LLaVA-Med 的表现，说明了其在资源有限的医疗环境中的有效性。

Apr, 2024

基于任务的 MoE 多任务多语言机器翻译

我们设计了一种新方法，将任务信息与 Mixture-of-experts 模型结合，通过共享的动态任务适配器在不同粒度级别上将任务信息融入模型中。实验证明，相比密集和经典的 Mixture-of-experts 模型，在多任务多语言机器翻译上，我们的方法具有优势。通过任务特定的适配器，我们的模型能够高效地泛化到新任务中。

Aug, 2023

多任务多语种模型的可扩展高效 MoE 训练

采用 Mixture of Experts 模型、多维并行技术和 DeepSpeed 库支持的系统，成功训练出拥有数百万参数的高效的多语言生成模型，同时提升了模型的样本效率和推断时间效率。

Sep, 2021

用于参数高效微调的直觉感知的一级专家的混合模型

多任务场景下，大型语言模型（LLMs）面临着适应性挑战，而《混合专家模型》（MoE）以其稀疏架构有效地解耦任务而成为一种有希望的解决方案。本研究设计了一种模仿人类大脑的新框架《Intuition-MoR1E》，利用实例的内在语义聚类处理多任务情境，为优化特征分配提供了隐含指导。此外，引入了先进的《Rank-1 专家公式》来管理一系列直觉，在多任务 LLM 微调中表现出增强的参数效率和效果。广泛的实验证明，《Intuition-MoR1E》在 14 个公共数据集上相对于其他最先进方法具备更高的效率和 2.15％的整体准确度提升。

Apr, 2024

MOELoRA：一种基于 MOE 的参数高效微调方法，适用于多任务医疗应用

我们提出了一种新颖的用于多任务医疗应用的参数高效微调框架 MOELoRA，通过 MOE 和 LoRA 的统一，利用多个专家作为可训练参数，并为各种任务生成不同的参数，以解决医疗场景中任务多样性和微调成本高昂的问题。我们的实验证明，MOELoRA 优于现有的参数高效微调方法。

Oct, 2023

LocMoE：一种用于大型语言模型训练的低开销 MoE

通过转换部分节点间通信为节点内通信的路由策略，我们提出了一种新颖的负载均衡和局部性相结合的路由策略，并在 PanGu-Sigma 模型上进行了改进，实验证明该路由策略减少了每轮训练时间约 12.68% 至 22.24%，而不影响模型的准确性。

Jan, 2024

稀疏专家混合下的视觉语言模型扩展

本研究探讨了使用稀疏门控专家组技术解决大规模视觉语言模型训练中的挑战，并在等效计算成本下实现最先进性能的潜力，通过稀疏门控专家组对模型解释性的影响及其与 VLM 扩展计算性能之间的折衷，本文为大规模视觉语言模型的扩展提供了宝贵的洞见，并希望能够激发对 MoE 在其他多模态机器学习应用中的研究。

Mar, 2023

Octavius: 通过 MoE 减少 MLLMs 的任务干扰

通过介绍新颖且可扩展的框架 LaRA-MoE，本研究通过大型语言模型在多模态学习方面的综合研究和实验，展示了在各种二维和三维下游任务中设计的开创性的 LoRA-MoE 解码器的有效性和多样性（提升约 20%），以及更多其他模态和任务的导入在性能上可能引起的负面冲突和干扰。

Nov, 2023

MEMoE：采用专家混合适配器增强模型编辑

MOMoE 是一种模型编辑适配器，采用专家混合（MoE）架构和知识锚定路由策略，以高效地改变大型语言模型（LLMs）的行为，并确保不对其他输入产生负面影响。实验结果表明，MOMoE 方法在整体性能和泛化能力之间展现出卓越的平衡，优于批量编辑和连续批量编辑任务。

May, 2024

混合专家语言模型的快速推断与卸载

通过参数卸载算法和利用 MoE LLMs 的固有属性提出一种新策略，使消费者硬件和免费 Google Colab 实例上能够运行 Mixtral-8x7B 型号的 MoE 语言模型。

Dec, 2023