BriefGPT.xyz
Ask
alpha
关键词
deepspeed-moe
搜索结果 - 1
ICML
DeepSpeed-MoE: 推动混合专家推理和训练以推动下一代 AI 规模
本文介绍了一种通过 Mixture-of-Experts 模型架构实现的深度学习模型训练及推断方案,名为 DeepSpeed-MoE。该方案通过新颖的模型压缩技术和高度优化的推断系统,在减小模型尺寸、提高能效和降低硬件资源要求等方面都有着非
→
PDF
2 years ago
Prev
Next