ICMLJun, 2024
稀疏专家混合模型构建可靠的语言模型
$\texttt{MoE-RBench}$: Towards Building Reliable Language Models with Sparse Mixture-of-Experts
Guanjie Chen, Xinyu Zhao, Tianlong Chen, Yu Cheng
TL;DR通过 $ exttt {MoE-RBench}$ 全面评估了混合专家模型(MoE)在可靠性方面的表现,包括安全性与幻觉、对抗攻击的弹性和超域鲁棒性,并发现在适当的超参数、训练配方和推理技术下,MoE 模型的可靠性可以超过密集型大型语言模型(LLMs)。