EMNLPOct, 2023
将专家合并为一体:提高混合专家的计算效率
Merging Experts into One: Improving Computational Efficiency of Mixture of Experts
Shwai He, Run-Ze Fan, Liang Ding, Li Shen, Tianyi Zhou...
TL;DR本研究主要通过提出一种计算较为高效的方法 Merging Experts into One(MEO)来降低计算成本,并通过实验证明其优越性以及如何进一步提高效率和性能。