ACLApr, 2024
通过教师语言选择和跨语言自蒸馏减轻 mPLMs 中的语言性能差异
Mitigating Language-Level Performance Disparity in mPLMs via Teacher Language Selection and Cross-lingual Self-Distillation
Haozhe Zhao, Zefan Cai, Shuzheng Si, Liang Chen, Yufeng He...
TL;DRALSACE 使用学到的知识从表现优秀的语言中指导同一多语言预训练语言模型内表现较差的语言,有效地减少了语言级别的性能差异,同时在不同的多语言自然语言理解任务中展现了竞争力。