Mar, 2024

多语言语言模型中研究跨语言传递的高效方法

TL;DR预训练多语言模型的容量和效果已经得到确认,但对于零样本跨语言转移中的积极或消极转移现象以及语言选择的影响还需进一步理解,本研究提出了一种高效的方法,通过专用适配器单元将下游任务与语言分离,发现一些语言对其他语言影响不大,而一些未在预训练中出现的语言对不同目标语言具有极大益处或有害,我们发现没有任何一种语言对所有目标语言都有益,但奇怪的是我们观察到,之前未被多语言模型预训练见过的语言总是从任何语言的转移中受益,此外,我们利用模块化方法高效量化负面干涉并相应分类语言,最后,我们提供了一系列有希望改善目标语言性能的转移-目标语言配置。