Dec, 2022
内存高效的 NLLB-200:大规模多语言机器翻译模型的语言专家剪枝
Memory-efficient NLLB-200: Language-specific Expert Pruning of a Massively Multilingual Machine Translation Model
Yeskendir Koishekenov, Vassilina Nikoulina, Alexandre Berard
TL;DR提出了一种修剪方法,可在保持翻译质量的同时,移除多语言机器翻译中不相关的习惯用语,并检测出特定语种的专家,以便使用 Sparse Mixture-of-Experts 模型在单个 GPU 上运行。