ACLMar, 2022
预训练的多语言序列到序列模型:底资源语言翻译的希望?
Pre-Trained Multilingual Sequence-to-Sequence Models: A Hope for Low-Resource Language Translation?
En-Shiun Annie Lee, Sarubi Thillainathan, Shravan Nayak, Surangika Ranathunga, David Ifeoluwa Adelani...
TL;DR通过在 10 种语言上进行完备实验,考虑了五个因素:(1)微调数据量,(2)微调数据中的噪声,(3)模型预训练数据量,(4)领域不匹配的影响以及(5)语言类型学,我们试图确定预训练多语言序列到序列模型(如 mBART)对翻译低资源语言有何贡献,并提出了许多启发式方法。实验结果显示,mBART 对领域差异具有鲁棒性,但对未知和语言类型学差异较大的语言的翻译仍低于 3.0 BLEU。因此,我们鼓励将重点从新模型转向新数据。