Feb, 2024
通过从资源丰富的语言进行自我蒸馏以增强大型语言模型的多语种能力
Enhancing Multilingual Capabilities of Large Language Models through Self-Distillation from Resource-Rich Languages
Yuanchi Zhang, Yile Wang, Zijun Liu, Shuo Wang, Xiaolong Wang...
TL;DR基于自丰富资源语言的自蒸馏方法 (SDRRL) 能有效提升多语言性能,同时最小化对资源丰富语言原始性能的影响。