Jul, 2024
两个堆栈胜过一个:语言建模与翻译作为多语言预训练目标的比较
Two Stacks Are Better Than One: A Comparison of Language Modeling and
Translation as Multilingual Pretraining Objectives
TL;DR本研究解决了多语言预训练目标比较中存在的方法学不统一的问题。通过在控制环境下比较多种预训练目标,察觉到模型架构决定了最优目标,同时在特定条件下,多语言翻译作为预训练目标表现出有效性。这一发现对多语言模型的构建具有重要影响。