Jun, 2022
Uni-Perceiver-MoE:使用条件 MoE 学习稀疏的通用模型
Uni-Perceiver-MoE: Learning Sparse Generalist Models with Conditional MoEs
Jinguo Zhu, Xizhou Zhu, Wenhai Wang, Xiaohua Wang, Hongsheng Li...
TL;DR通过引入条件混合专家,这项工作成功地解决了现有通用模型在某些任务上性能降低的问题,并在各种基准测试中取得了最先进的结果。